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人 工 逢 能 复杂 问题 求解 的 结构 和 策略 〈 原 书 第 6 版 ) 


RT i 学 生 经 常 遇 到 许多 很 难 的 概念 ; 本 书 通 过 精 选 的 实例 与 简单 明了 的 视图 ， 
清晰 而 准确 地 阐述 这些 概念 





Josephh， 圣 壬 哥 州 立 大 学 
“未 书 是 人 工 知 能 课程 的 完美 补充 。 它 既 给 读者 以 历史 的 观点 ， 又 给 出 所 有 技术 的 实用 指南 。 这 


一 本 ' 人 须要 推荐 的 人 工 智 能 的 图 书 
一 Pascal Rebreyend、 瑞 妆 达 拉 那 大 学 
-该 书 的 写作 风格 和 全 面 的 论述 使 它 成 为 人 工 智能 领域 很 有 价值 的 文献 
一 Malachy Eaton。 利 默 里 克 大 学 
本 书 是 一 本 经 典 的 人 工 智 能 教材 ， 全 面前 述 了 人 工 智 能 的 基础 理论 ， 有 效 结 合 了 求解 智能 问题 的 
数据 结构 以 及 实现 的 算法 ， 把 人 工 智 能 的 应 用 程序 应 用 于 实际 环境 中 ， 并 从 社会 和 哲学 、 心 理学 以 及 
神经 生理 学 角度 对 人 工 智 能 进行 了 全 面 的 讨论 。 


本 版 新 增 内 容 

@ 新 增 一 章 ， 介 绍 用 于 机 器 学 习 的 随机 方法 ， 包 括 一 阶 贝 叶 斯 网 络 、 各 种 隐 马 尔 可 夫 模 型 、 马 尔 可 
夫 随 机 场 推 理 和 循环 信念 传播 。 

@ 介绍 针对 期 望 最 大 化 学 习 以 及 利用 马尔 可 夫 链 蒙特 卡 罗 抽 样 的 结构 化 学 习 的 参数 选择 ， 强 化 学 习 
中 马尔 可 夫 决 策 过 程 的 利用 。 

@ 介绍 智能 体 技 术 和 本 体 的 使 用 。 

@ 介绍 自然 语言 处 理 的 动态 规划 (Earley 语 法 分 析 ) 以 及 Viterbi 等 其 他 概率 语法 分 析 技术 。 

@ 书 中 的 许多 算法 采用 Prolog、LISP 和 Java 语 言 来 构建 。 


作 1973 年 在 宾夕法尼亚 大 学 获 秆 导 博 士 学 位 ， 并 在 之 后 
者 George 一 Euger 的 5 年 间 在 爱丁堡 大 学 人 工 智能 系 进行 博士 后 研究 ， SY 
现在 是 新 墨西哥 大 学 计算 机 科学 研究 、 语 言 学 及 心理 学 教授 。 
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本 书 是 一 本 经 典 的 人 工 智能 教材 ， 全 面 阐述 了 人 工 智能 的 基础 理论 ， 有 效 结合 了 求解 智 
能 问题 的 数据 结构 以 及 实现 的 算法 ， 把 人 工 智 能 的 应 用 程序 应 用 于 实际 环境 中 ， 并 从 社会 和 
哲学 、 心 理学 以 及 神经 生理 学 角度 对 人 工 智能 进行 了 独特 的 讨论 。 新 版 中 增加 了 “基于 随机 
方法 的 机 器 学 习 ” 等 内 容 ， 并 提出 了 一 些 新 的 主题 ， 如 涌现 计算 、 本 体 论 、 随 机 分 割 算 法 等 。 

本 书 适合 作为 高 等 院 校 计算 机 专业 人 工 智 能 教材 ， 也 可 供 人 工 智能 领域 的 研究 者 及 相关 
工程 技术 人 员 参 考 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规范 ， 使 西方 国家 在 自然 科学 的 各 个 领 
域 取得 了 垄断 性 的 优势 ， 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 家 辈出 、 独 领 
风骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 学 科 中 的 许多 泰山 北 
斗 同 时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 不 仅 辟 划 了 研究 的 范畴 ， 还 揭示 了 
学 术 的 源 变 ， 既 遵循 学 术 规范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅猛 ， 对 专业 人 才 的 需求 日 益 迫 
切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ; 而 专业 教材 的 建设 在 教育 战略 上 显得 举 
足 轻 重 。 在 我 国信 息 技 术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国家 在 其 计算 机 科学 发 展 的 几 十 
年 间 积 淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计算 机 教材 将 对 
我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真 正 的 世界 一 流 大 学 
的 必由之路 。 

机 械 工业 出 版 社 华章 分 社 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 华 章 分 社 就 
将 工作 重点 放 在 了 赣 选 、 移 译 国外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson ，McGraw- 
Hil ，Elsevier，MIT，jJohn Wiley & Sons，Cengage 等 世界 著名 出 版 公司 建立 了 良好 的 合作 关系 
从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum，Bjame Stroustrup，Brain W. Kernighan ， 
Dennis Ritchie, Jim Gray, Afred V. Aho, John E. Hoperoft, Jeffrey D. Ullman, Abraham Silbers- 
chatz, William Stallings ，Donald E. Knuth, John L，Hennessy，Larry L，Peterson 等 大 师 名 家 的 一 批 
经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 了 珍藏。 大理石 纹理 的 封面 ， 
也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 襄 助 ， 国 内 的 专家 不 仅 提供 了 中 表 
的 选 题 指导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ; 而 原 书 的 作者 也 相当 关注 其 作品 在 中 国 
的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 , “计算 机 科学 丛书 ”已 经 出 版 了 近 两 百 个 品 
种 ， 这 些 书籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 其 影印 版 
“经 典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 图 书 
有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 深化 ， 教 
育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 而 反馈 
的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 分 社 欢迎 老师 和 读者 对 我 们 的 工作 提出 建 
议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 ，www. hzbook. com 
电子 邮件 ， hzjsj@ hzbook. com 
联系 电话 : (010) 88379604 
联系 地 址 : 北京 市 西城 区 百 万 庄 南 街 工 号 华章 教育 
有 华章 科技 图 书 出 版 中 心 








人 工 智能 (AI) 最 开始 的 动机 是 想 创造 一 种 机 器 ， 它 不 仅 能 够 思考 ， 而 且 还 有 可 能 和 人 类 
交流 ， 这 是 计算 的 最 高 级 目标 。 在 过 去 的 许多 年 里 ， 人 工 智能 的 研究 者 们 在 探索 智能 机 制 的 同 
时 ,还 使 人 工 智能 在 实际 领域 取得 了 更 广泛 的 应 用 。 我 们 可 以 使 用 不 同 的 人 工 智能 策略 解决 很 
多 在 实际 应 用 计算 机 技术 时 出 现 的 复杂 问题 。 众 所 周知 ， 智 能 本 身 是 非常 复杂 的 ， 难 以 用 单一 的 
理论 来 描述 。 因 此 ， 产 生 了 一 系列 的 理论 从 不 同 的 抽象 层次 刻画 这 个 主题 。 在 最 低层 次 ， 神 经 网 
络 、 遗 传 算法 以 及 其 他 形式 的 理论 可 以 辅助 理解 适应 性 原理 、 感 知 机 制 以 及 与 物理 世界 的 交互 
机 制 。 在 更 加 抽象 的 层次 ， 专 家 系统 的 设计 、 智 能 主体 、 随 机 模型 以 及 自然 语言 理解 程序 反映 了 
知识 在 智能 中 的 角色 和 创建 、 传 递 、 保 持 的 社会 过 程 。 更 深 一 层 ， 逻 辑 学 家 提出 了 演绎 、 反 绎 、 
归纳 、 真 值 维护 以 及 其 他 的 推理 模型 和 方式 。 

在 第 6 版 中 ，George F Luger 阐述 了 复杂 问题 求解 结构 和 策略 的 所 有 这 些 层 次 的 理论 ， 同 
时 ， 他 还 指出 了 智能 研究 本 身 的 令 人 兴奋 之 处 ,演示 了 怎样 使 用 不 同 的 软件 工具 和 技术 去 解决 
计算 机 科学 家 面临 的 复杂 问题 。 

这 本 畅销 教材 的 主要 特点 是 : 

。 彻底 和 全 面 阐述 人 工 智 能 的 基础 理论 。 

。 有 效 结 合 了 求解 智能 问题 的 数据 结构 以 及 实现 的 算法 。 

se。 用 LISP、Prolog 或 Java 语言 编写 实例 程序 。 

。 把 人 工 智能 的 应 用 程序 应 用 于 实际 环境 中 。 

。 从 社会 和 哲学 角度 出 发 对 人 工 智 能 进行 全 面 的 讨论 。 

与 第 5 版 相 比 ， 第 6 版 主要 扩充 了 获取 人 工 智能 的 随机 方法 的 相关 材料 ， 包 括 : 

。 修改 9.3 节 、 加 入 第 13 章 来 介绍 基于 概率 的 机 器 学 习 。 

。 扩充 了 关于 有 限 状 态 自动 机 和 概率 接受 器 以 及 动态 规划 的 使 用 ， 克 其 是 使 用 随机 测量 的 

动态 规划 算法 (Viterbi 算法 ) 的 例子 。 

此 外 ,第 6 版 除了 介绍 Prolog 和 LISP， 还 收集 了 一 些 用 Java 实现 的 人 工 智 能 算法 。 

本 书 共 16 章 。 第 1 章 (第 一 部 分 ) 简单 介绍 人 工 智 能 ; 第 2、3、4、5、6 章 (第 二 部 分 ) 
介绍 AI 问题 求解 的 研究 工具 ; 第 7、8、9 章 (第 三 部 分 ) 介绍 人 工 智能 和 知识 密集 型 问题 求解 
以 及 变化 和 模糊 情况 下 推理 的 表示 法 ; 第 10、11、12、13 章 (第 四 部 分 ) 提供 机 器 学 习 中 问题 
的 扩充 说 明 ; 第 14、15 章 构成 本 书 的 第 五 部 分 ， 第 14 章 讨论 这 一 领域 中 最 早 的 程序 ,第 15 章 
介绍 自然 语言 理解 ; 第 16 章 (第 六 部 分 ) 作为 本 书 的 结束 语 。 

本 书 适 合作 为 高 等 院 校 计算 机 、 自 动 化 、 电 子 等 专业 本 科 生 及 研究 生 的 人 工 智 能 教材 。 同 
时 ， 本 书 也 是 人 工 智 能 领域 的 研究 者 或 那些 想 了 解 和 应 用 当前 人 工 智 能 技术 的 工作 人 员 的 一 本 
宝贵 的 参考 资料 。 

本 书 第 6 版 的 翻译 工作 由 郭 茂 祖 主 持 ， 郭 茂 祖 审 校 了 全 部 译 稿 ， 玄 萍 负责 校对 。 其 中 ， 郭 茂 
祖 翻 译 了 第 1、2、3、4、5 章 , 刘 扬 翻译 了 第 7、8、9、10 章 ， 玄 萍 翻 译 了 第 11、12、13、 
章 , 王 春 宇 翻译 了 第 6、15、16 章 。 在 本 书 的 翻译 过 程 中 ， 李 建 伏 、 邓 超 、 邹 权 、 于 建 涛 、 王 
峻 、 李 欧 娟 、 吴 伟 宁 、 徐 舌 、 艾 琳 、 邢 志 安 给 予 了 很 多 帮助 ， 对 他 们 表示 由 衷 的 感谢 。 另 外 ,本 
书 的 翻译 参考 了 第 5 版 的 中 文 版 ， 在 此 一 并 表示 感谢 。 
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我 们 通过 做 来 学 习 我 们 必须 做 的 …… 
一 一 亚 里 士 多 德 《 伦 理学 》 (Ethics) 

欢迎 阅读 第 6 版 

我 很 高 兴 被 邀请 写作 这 本 《人 工 智能 》 教 材 的 第 6 版 。 这 是 对 20 多 年 来 前 几 个 版 本 的 褒奖 ， 
说 明 我 们 获取 AT 的 方法 得 到 了 大 家 的 高 度 评 价 。 同 样 令 人 兴奋 的 是 ， 随 着 人 工 智能 领域 的 新 的 
发 展 ， 我 们 能 够 在 每 个 新 版 本 中 介绍 这 些 新 发 展 和 新 技术 。 我 们 感谢 许多 读者 、 同 事 和 学 生 督 促 
我 们 及 时 地 更 新 相关 主题 。 

前 几 版 中 的 许多 章节 现在 仍然 具有 很 好 的 适用 性 ， 包 括 对 逻辑 、 搜 索 算 法 、 知 识 表示 、 产 生 
式 系统 、 机 器 学 习 以 及 用 LISP、Prolog 和 本 版 中 的 Java 开发 的 程序 设计 技术 的 介绍 。 这 些 仍然 是 
人 工 智能 的 中 心 问题 ， 也 是 这 个 新 版 本 的 重点 。 

这 本 书 仍然 是 容易 理解 的 。 我 们 介绍 了 关键 的 表示 技术 ， 包 括 逻 辑 、 语 义 和 连 接 主 义 网 络 、 
图 模型 等 。 我 们 首先 用 伪 代 码 的 形式 清楚 地 描述 了 搜索 算法 ， 然 后 在 补充 材料 中 介绍 了 许多 用 
Prolog 、LISP 和 /或 Java 实现 的 搜索 算法 。 希 望 有 学 习 主动 性 的 学 生 能 够 掌握 我 们 这 些 核 心 实现 
并 把 它们 扩展 到 新 的 应 用 领域 。 

第 6 版 中 增加 了 新 的 一 章 (第 13 章 ) 来 介绍 基于 随机 方法 的 机 器 学 习 。 随 机 技术 对 人 工 智 
能 的 影响 日 益 增 大 ， 尤 其 是 在 诊断 推理 、 预 测 推理 、 自 然 语言 理解 、 机 器 人 学 和 机 器 学 习 这 些 领 
域 。 为 了 支持 这 些 新 兴 的 技术 ， 我 们 扩充 了 对 贝 叶 斯 定理 、 马 尔 可 夫 模 型 、 贝 叶 斯 网 络 以 及 相关 
图 模型 的 介绍 。 另 外 ， 还 扩充 讨论 了 概率 有 限 状 态 自动 机 、 隐 马尔 可 夫 模 型 、 基 于 Earley 解析 器 
和 Viterbi 算法 实现 的 动态 规划 。 其 他 一 些 主题 (如 涌现 计算 、 本 体 论 、 随 机 分 割 算法 ) 在 前 几 
版 中 写 得 有 些 仓促 ， 现 在 已 成 为 比较 重要 的 主题 ,值得 更 加 全 面 地 讨论 。 第 6 版 中 所 做 的 修改 反 
映 出 了 新 出 现 的 人 工 智能 问题 ， 同 时 也 是 人 工 智能 领域 具有 持久 活力 的 证 明 。 

随 着 AI 研究 课题 的 不 断 扩 大 ， 我 们 得 到 了 很 多 人 (包括 出 版 商 、 编 辑 、 朋 友 、 同 事 ， 尤 其 
是 广大 读者 ) 的 支持 ， 他 们 使 我 们 的 工作 具有 长 久 而 又 有 意义 的 生命 力 。 能 得 到 这 样 的 机 会 ， 
我 们 仍然 很 兴奋 :因为 很 少 有 人 会 鼓励 科学 家 从 他 们 自己 较 秦 的 研究 兴趣 出 发 写 出 宏 篇 巨著 。 
我 们 对 出 版 商 和 读者 为 我 们 提供 这 样 的 机 会 表示 感谢 。 我 们 也 很 受 鼓 甸 ， 因 为 本 书 前 几 版 已 经 
用 于 全 世界 许多 人 工 智能 领域 ， 而 且 被 翻译 成 了 许多 不 同 语言 (包括 德语 、 波 兰 语 、 葡 萄 牙 语 、 
俄语 以 及 中 文 简体 和 繁体 ) 。 

虽然 人 工 智 能 和 大 多 数 工 程 学 科 一 样 ， 必 须 通过 为 实际 问题 提供 解决 方案 来 证 明 自 己 对 商 
业 领 域 的 价值 ， 但 是 我 们 与 许多 同事 和 学 生 却 以 相同 的 原因 进入 AI 领域 : 我 们 想 要 理解 和 探索 
能 够 进行 智能 思考 和 动作 的 头脑 的 工作 机 制 。 我 们 避免 使 用 “智能 是 人 类 的 特有 能 力 ”这 样 粗 
浅 的 说 法 ， 而 是 相信 我 们 能 够 通过 设计 和 评估 人 工 智 能 产物 来 有 效 地 研究 可 能 的 智能 空间 。 尽 
. 管 我 们 的 经 历 使 我 们 没有 理由 改变 初衷 ， 但 是 我 们 的 工作 在 广度 、 复 杂 度 和 创新 性 方面 又 上 了 
一 个 新 的 台阶 。 在 前 面 版 本 的 前 言 中 ， 我 们 概括 了 三 点 主张 ， 我 们 相信 和 坚持 这 三 点 主张 可 以 使 我 
们 的 方法 在 人 工 智能 教学 过 程 中 取得 卓越 的 成 效 。 在 这 一 版 的 前 言 中 ， 自 然 要 回 到 这 些 主 题 看 
看 它们 是 如 何 随 着 领域 发 展 而 延续 的 。 
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第 一 点 主张 是 通过 详细 讨论 人 工 智 能 的 理论 基础 来 统一 不 同 的 分 支 。 在 我 们 首次 采纳 这 点 
主张 时 ， 主 要 问题 似乎 是 协调 两 种 研究 者 ， 一 种 着 重 于 对 人 工 智能 进行 详细 描述 和 形式 化 理论 
分 析 (整洁 派 )， 允 一 种 相信 智能 本 身 是 某 种 豪华 的 工具 并 且 能 够 用 应 用 驱动 的 特定 方法 获得 
(杂乱 派 )。 事 实证 明 ， 这 种 二 分 法 过 于 简单 。 

在 当代 的 AI 中 ,整洁 派 和 杂乱 派 之 间 的 争论 ， 已 经 引起 了 物理 符号 系统 支持 者 和 神经 网 络 
研究 者 、 人 逻辑 学 家 和 非 逻辑 方式 进化 人 工 生命 形式 的 设计 者 、 专家 系统 建造 者 和 基于 案例 的 推 
理 者 以 及 相信 已 经 获得 人 工 智能 的 人 和 认为 人 工 智能 永远 无 法 获得 的 人 之 间 的 许多 争论 。 AI 是 
一 门 前 沿 科 学 ， 在 这 里 ， 离 经 产道 者 、 探 索 者 、 极 端 预 言 家 和 其 他 梦想 家 被 形式 主义 和 经 验 主义 
慢 慢 驯服 。 我 们 最 初 的 这 种 印象 现在 让 位 于 一 个 不 同 的 比喻 : 在 一 个 巨大 、 无 秩序 但 大 体 上 和 平 
的 城市 里 ， 有 秩序 的 中 产 阶级 邻居 从 不 同 的 、 混 乱 的 、 狂 放 不 昌 的 地 区 来 此 谋生 。 在 我 们 致力 于 
写作 本 书 不 同 版 本 的 几 年 中 ， 一 幅 关于 智能 结构 的 引 人 注 目的 图 画 开始 从 城市 的 结构 、 艺 术 和 
工业 中 显现 出 来 。 

智能 太 复 杂 了 ， 无 法 用 任何 单一 的 理论 来 描述 ;研究 者 正在 构建 一 个 从 多 个 抽象 层次 上 刻 
画 智 能 的 理论 层次 结构 。 在 这 个 结构 的 底层 ， 神 经 网 络 、 遗 传 算法 和 其 他 形式 的 涌现 计算 使 我 们 
能 理解 所 有 形式 的 智能 行为 之 下 必然 隐 含 的 适应 、 感 知 、 表 现 和 与 物质 世界 交互 的 过 程 。 通 过 某 
些 仍然 是 部 分 理解 的 归结 ， 这 个 由 盲目 原始 的 参与 者 构成 的 混乱 群体 引出 了 逻辑 推理 的 更 冷静 
模式 。 在 这 个 更 高 的 层次 上 ， 逮 辑 学 家 在 亚 里 士 多 德 贡 献 的 基础 上 ， 撒 绘 演绎 、 反 绎 、 归 纳 、 真 
值 维护 和 推理 的 无 数 其 他 方式 和 方法 。 在 更 高 层 抽象 上 ， 专 家 系统 、 智 能 主体 和 自然 语言 理解 程 
序 的 设计 者 渐渐 认识 到 社会 过 程 在 产生 、 传 播 和 维持 知识 方面 所 起 的 作用 。 

从 这 一 点 来 看 , 在 AI 事业 中 ， 理 性 主义 和 经 验 主义 两 种 极端 都 只 能 得 到 一 些 片面 的 结论 ， 
两 种 极端 的 适用 性 和 普遍 性 都 受到 限制 。 作 者 采取 了 另 一 种 态度 ， 即 认为 经 验 主义 者 的 条 件 作 
用 (语义 网 、 脚 本 、 包 容 结 构 ) 和 理性 主义 者 清晰 明确 的 观点 〈 谓 词 演 算 、 非 单调 逻辑 、 自 动 
推理 ) 构成 了 第 三 个 观点 一 一 贝 叶 斯 定理 。 关 联 不 变性 的 经 验 以 智能 的 多 个 智能 主体 的 期 望 为 
条 件 ， 学 习 这 些 不 变性 反 过 来 可 以 使 将 来 的 期 望 发 生 偏 离 。 作 为 哲学 家 ， 我 们 有 责任 分 析 人 工 智 
能 事业 在 认识 论 上 的 合法 性 。 为 完成 这 一 任务 ， 我 们 在 第 16 章 讨 论 了 理性 主义 工程 、 经 验 主义 
难题 ， 并 提出 了 一 个 基于 贝 叶 斯 的 构造 论 者 的 一 致 观点 。 在 第 6 版 中 ， 我 们 触及 了 呈现 这 个 Al 
事业 的 所 有 层次 。 

我 们 在 前 面 版 本 中 提出 的 第 二 点 主张 是 在 AI 方法 学 中 高 级 表示 形式 和 搜索 技术 占有 中 心 位 
置 。 这 可 能 是 前 面 版 本 及 AI 许多 早期 工作 中 最 有 争议 的 方面 ， 许 多 涌现 计算 的 研究 者 质疑 符号 
推理 和 指称 语义 在 思考 中 是 否 有 作用 。 虽 然 为 事物 给 定名 字 的 表示 法 思想 受到 了 神经 网 络 或 人 
工 生命 的 涌现 模式 提供 的 隐 含 表示 法 的 挑战 ， 但 我 们 相信 对 于 任何 严谨 的 人 工 智 能 研究 者 ， 理 
解 表示 法 和 搜索 仍然 是 基本 的 。 同 时 ， 我 们 认为 第 1 章 对 历史 传统 和 先驱 的 回顾 是 人 工 智 能 教育 
不 可 或 缺 的 部 分 。 而 且 ， 高 级 表示 形式 和 搜索 技术 也 是 分 析 非 符号 人 工 智能 的 多 个 方面 《如 分 
析 神 经 网 络 的 表达 能 力 或 者 通过 遗传 算法 的 适应 度 范围 计算 候选 问题 解 的 进展 ) 的 无 价 工具 。 
第 16 章 中 对 现代 AI 的 不 同方 法 进行 了 比较 和 评论 。 

我 们 在 前 面 版 本 中 提出 的 第 三 点 主张 是 将 人 工 智能 放 到 经 验 科学 的 上 下 文中 。 引用 以 前 版 
本 中 Newell and Simon (1976) 的 图 灵 奖 演讲 ， 


ee AI 不 是 对 科学 传统 的 某 种 奇怪 的 偏离 ， 而 …… 是 对 关于 智能 知识 的 寻求 和 对 智能 本 身 的 _ 
理解 的 一 部 分 。 另 外 ，AI 程序 设计 工具 和 研究 程序 设计 的 方法 学 …… 对 探究 外 界 环境 都 是 完美 ， 
的 。 我 们 的 工具 提供 了 一 种 理解 和 质疑 的 方法 。 我 们 通过 逐步 近似 来 察觉 和 了 解 自然 现象。 

这 样 ， 将 每 个 设计 和 程序 都 看 成 是 对 自然 的 一 个 试验 : 我 们 提出 一 个 表示 ， 生 成 一 个 搜索 算 
法 ， 并 质疑 这 样 的 描述 是 否 能 够 适当 地 说 明 部 分 智能 现象 。 自 然 世界 给 我 们 的 疑问 一 个 回答 。 我 ， 
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们 的 实验 可 能 会 被 拆 解 、 修 订 、 扩 充 ， 然 后 再 次 运行 。 模 型 可 能 被 改进 ， 同 时 我 们 的 理解 范围 也 
进一步 扩大 了 。 


第 6 版 的 新 内 容 


第 6 版 最 主要 的 修改 是 扩充 了 获取 人 工 智能 的 随机 方法 。 为 此 ， 我 们 修改 了 9.3 节 ， 并 日 加 
入 了 第 13 章 来 介绍 基于 概率 的 机 器 学 习 。 我 们 更 加 全 面 地 介绍 了 随机 的 人 工 智 能 工具 及 其 在 学 
习 和 自然 语言 中 的 应 用 。 

我 们 从 集合 论 和 计数 的 基础 知识 开始 ， 逐 步 引出 概率 、 随 机 变量 和 独立 性 等 概念 。 接 着 ， 以 
一 种 症状 和 一 种 疾病 为 例 ， 介 绍 并 使 用 了 贝 叶 斯 定理 ， 然 后 将 其 推广 到 最 通用 的 形式 。 我 们 分 析 
研究 了 应 用 贝 叶 斯 定理 的 假设 ,介绍 了 argmax 和 简单 贝 叶 斯 方法 。 我 们 介绍 了 随机 推理 的 一 些 
例子 ， 包 括 语言 现象 分 析 和 Viterbi 算法 。 我 们 还 介绍 了 条 件 独立 性 的 思想 ， 随 后 在 第 9 章 引 了 出 
了 关于 贝 叶 斯 信念 网 络 (BBN) 的 介绍 。 

第 13 章 介 绍 了 隐 马 尔 可 夫 模 型 (HMM) ， 并 通过 几 个 例子 说 明了 其 使 用 方法 。 我 们 也 介绍 
了 HMM 的 几 种 变形 ， 包 括 自 回归 和 层次 化 的 隐 马 尔 可 夫 模 型 ， 还 介绍 了 动态 贝 叶 斯 网 络 
《DBN) ， 并 举例 说 明了 它们 的 使 用 方法 。 我 们 讨论 了 参数 和 结构 学 习 ， 介 绍 了 期 望 最 大 化 方法 
并 举例 说 明了 它们 在 松散 信念 传播 中 的 使 用 。 最 后 ， 我 们 在 扩展 早期 的 强化 学 习 表 示 的 基础 上 ， 
介绍 了 马尔 可 夫 决 策 过 程 (MDP) 以 及 部 分 可 观测 的 马尔 可 夫 决策 过 程 (POMDP) 。 

我 们 扩充 了 一 些 实例 ， 这 些 例 子 用 来 解释 概率 有 限 状 态 自动 机 和 概率 接受 器 以 及 动态 规划 
的 使 用 ， 尤 其 是 解释 如 何 使 用 随机 测量 的 动态 规划 算法 (Viterbi 算法 ) 。 我 们 添加 了 一 个 随机 英 
语 语法 分 析 器 〈 以 爱丁堡 大 学 Mark Steedman 的 工作 为 基础 ) 以 及 Earley 解析 器 中 动态 规划 的 
使 用 。 

我 们 做 的 一 个 主要 决定 是 从 本 书 中 删除 介绍 Prolog 和 LISP 的 章节 ， 部 分 原因 是 它们 太 庞大 
了 。 我 们 也 收集 了 一 些 用 Java 实现 的 人 工 智能 算法 。 当 增加 新 的 一 章 (第 13 章 ) 来 介绍 基于 随 
机 方法 的 机 器 学 习 时 ， 我们 觉得 这 本 书 太 厚 、 太 笨重 了 。 这 样 ,第 6 版 比 第 5 版 少 了 150 多 页 
( 指 的 是 英文 原版 书 ) ， 以 Prolog、LISP 和 Java 语言 实现 的 AI 算法 以 补充 材料 的 形式 发 行 。 在 人 
工 智能 的 研究 刚 开 始 时 ， 我 们 总 是 认为 这 样 的 方法 对 于 理解 AI 算法 的 优势 (和 局 限 性 ) 是 非常 
有 益 的 一 一 那 就 是 要 实现 这 些 算法 ! 我 们 鼓励 这 一 代 的 读者 切实 这 样 去 做 : 浏览 这 些 补充 材料 ， 
实现 我 们 提出 的 这 些 算法 并 进行 实验 。 

最 后 ， 我 们 按照 惯例 更 新 了 参考 文献 ?和 一 些 材 料 。 在 修订 后 的 第 16 章 中 ,我 们 又 回来 讨 
论 智 能 本 性 的 更 深入 问题 和 产生 智能 机 器 的 可 能 性 。 


第 6 版 的 内 容 


第 1 章 简单 介绍 人 工 智能 。 我 们 从 哲学 、 心 理学 和 其 他 研究 领域 中 试图 了 解 头 脑 和 智能 的 历 
史 。 从 重要 意义 上 讲 ，AI 是 一 门 古老 的 科学 ， 至 少 可 以 追溯 到 亚 里 士 多 德 。 对 这 些 背景 的 了 解 
是 理解 现代 研究 中 主要 问题 的 基本 条 件 。 我 们 还 介绍 了 AI 中 一 些 重要 应 用 领域 的 概要 情况 。 第 
1 章 的 目的 是 为 后 面 的 理论 和 应 用 提供 背景 知识 和 动机 。 

第 2、3、4、5、6 章 (第 二 部 分 ) 介绍 Al 问题 求解 的 研究 工具 。 第 2 章 介绍 描述 问题 本 质 
特征 的 谓词 演算 ， 谓 词 演算 既是 一 种 数学 系统 ， 也 是 一 种 表示 语言 。 第 3 章 介绍 搜索 以 及 用 来 实 
现 搜索 的 算法 和 数据 结构 ， 搜 索 技术 用 来 组 织 问题 情景 的 探测 。 第 4 章 讨 论 启发 式 在 育 焦 和 约束 





日 ”限于 篇 幅 ,“ 参 考 文献 ”以 PDF 形式 放 在 本 书 的 网 站 《http: //www. hzbook. com) 上 ， 有 需要 的 读者 可 下 载 使 
用 。 注 
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基于 搜索 的 问题 求解 中 所 起 的 基本 作用 。 第 5 章 介绍 随机 方法 ， 这 是 一 种 在 不 确定 情况 下 推理 的 
重要 技术 。 第 6 章 介绍 构建 这 些 搜索 算法 所 需 的 软件 体系 结构 ， 包 括 黑板 和 产生 式 系 统 。 

第 7、8、9 章 构成 本 书 的 第 三 部 分 : 人 工 智能 、 知 识 密集 型 问题 求解 、 变 化 和 模糊 情况 下 
推理 的 表示 法 。 第 7 章 介 绍 AI 表示 法 的 发 展 历程 。 我 们 从 对 基于 关联 的 网 络 的 讨论 开始 ， 扩 展 
这 个 模型 以 包含 概念 依赖 理论 、 框 架 和 脚本 。 然 后 介绍 一 种 特别 的 形式 方法 一 一 概念 图 的 深入 
检验 ， 强 调 知识 表示 中 包含 的 认识 论 问题 ， 并 且说 明 这 些 问题 是 如 何在 现代 表示 语言 中 表示 的 。 
在 第 14 章 扩展 了 这 个 形式 方法 ， 说 明了 如 何 用 概念 图 来 实现 自然 语言 数据 库 前 端 。 第 7 章 的 最 
后 介绍 更 多 的 现代 表示 方法 ， 包 括 Copycat 结构 和 面向 主体 的 结构 。 

第 8 章 介绍 基于 规则 的 专家 系统 以 及 基于 案例 和 基于 模型 的 推理 系统 ， 包 括 来 自 NASA 空间 
计划 的 例子 。 这 些 问题 求解 方法 是 作为 第 二 部 分 内 容 的 自然 延伸 来 进行 介绍 的 ; 用 谓词 演算 表 
达 式 的 产生 式 系统 来 协调 一 个 图 搜索 。 这 一 章 最 后 分 析 每 种 知识 密集 型 问题 求解 方法 的 优势 和 
不 足 。 

第 9 章 介 绍 用 不 确定 信息 和 不 可 靠 信 息 进 行 推理 的 模型 。 我 们 讨论 用 于 不 确定 情况 推理 的 贝 
叶 斯 模型 、 信 和 念 网 络 、Dempster - Shafer、 因 果 模 型 以 及 Stanford 确信 度 代数 。 第 9 章 还 包括 真 值 
维护 算法 、 最 小 模型 推理 、 基 于 逻辑 的 反 绎 以 及 贝 叶 斯 信念 网 络 的 团 树 算法 。 

第 四 部 分 包括 第 10 章 到 第 13 章 ， 提 供 机 器 学 习 中 问题 的 扩充 说 明 。 在 第 10 章 ， 我 们 对 基 
于 符号 的 学 习 算 法 进行 了 详细 的 介绍 ， 这 是 一 个 硕果 累累 的 研究 领域 ， 产 生 了 大 量 的 问题 和 解 
决 方法 。 这 些 学 习 算 法 在 其 目标 、 训 练 数据 、 学 习 策 略 和 使 用 的 知识 表示 法 上 各 不 相同 。 基 于 符 
号 的 学 习 包 括 归纳 、 概 念 学 习 、 变 形 空间 搜索 和 ID3 。 归 纳 偏 置 的 作用 也 要 考虑 ， 即 从 数据 模式 
中 泛 化 ， 同 时 还 要 考虑 在 基于 解释 的 学 习 中 有 效 利用 从 单个 示例 中 学 习 到 的 知识 。 分 类 学 习 
(或 者 说 概念 聚 类 ) 与 无 监督 学 习 一 起 介绍 。 这 一 章 最 后 介绍 强化 学 习 ， 即 把 来 自 环 境 的 反馈 结 
合 到 决策 策略 中 的 能 力 。 

第 11 章 介绍 了 神经 网 络 ， 这 类 网 络 经 常 称 为 学 习 的 子 符号 或 连接 模型 。 在 神经 网 络 中 ， 信 
息 隐 含 在 一 个 连接 的 处 理 机 集合 的 组 织 和 权重 中 ， 学 习 包 括 结 点 权重 和 系统 结构 的 重新 排列 和 
修改 。 我 们 介绍 了 许多 连接 结构 ， 包 括 感知 机 学 习 、 反 传 和 逆 传 。 我 们 展示 了 Kohonen 、Gross- 
berg 和 Hebbian 模型 。 我 们 介绍 了 联想 学 习 和 吸引 子 模型 ， 包 括 Hopfield 网 络 的 例子 。 

第 12 章 介绍 学 习 的 遗传 算法 和 进化 方法 。 从 这 个 观点 来 看 ， 学 习 可 以 看 成 是 一 个 涌现 和 适 
应 过 程 。 在 介绍 了 几 个 基于 遗传 算法 的 问题 求解 实例 后 ， 我 们 介绍 遗传 技术 在 更 通用 的 问题 求 
解 器 中 的 应 用 ， 这 其 中 包括 分 类 器 系统 和 遗传 程序 设计 。 然 后 结合 人 工 生命 研究 中 的 例子 描述 
基于 社会 的 学 习 。 我 们 用 圣 达 菲 研 究 所 (Santa Fe Institute) 关于 涌现 计算 研究 的 一 个 例子 结束 
本 章 。 

第 13 章 介 绍 机 器 学 习 的 随机 方法 。 首 先 定义 隐 马 尔 可 夫 模 型 ， 然 后 介绍 几 个 重要 的 变形 ， 
包括 自 回 归 和 层次 化 的 隐 马 尔 可 夫 模 型 。 我 们 接 下 来 介绍 动态 贝 叶 斯 网 络 (是 HMM 的 一 个 推 
广 ) ， 它 也 能 够 通过 时 间 周 期 跟踪 系统 。 对 于 在 诊断 和 预测 推理 中 模拟 复杂 环境 的 改变 ， 这 些 技 
术 是 非常 有 用 的 。 最 后 ， 我 们 为 第 10 章 介绍 的 强化 学 习 增 加 了 一 个 概率 部 分 ， 介 绍 了 马尔 可 夫 
决策 过 程 (MDP) 和 部 分 可 观测 的 马尔 可 夫 决 策 过 程 (POMDP) 。 

第 五 部 分 包括 第 14 章 和 第 15 章 ， 介 绍 自动 推理 和 自然 语言 理解 。 定 理 证 明 (常常 称 为 自 
动 推理 ) 是 AI 研究 最 早 的 领域 之 一 。 在 第 14 章 ， 我 们 讨论 这 一 领域 中 最 早 的 程序 ， 包括 逻辑 理 
论 家 和 通用 问题 求解 器 。 本 章 的 焦点 是 二 元 归结 证 明 过 程 ， 特 别 是 归结 反驳 ， 还 介绍 了 使 用 超 归 
结 和 参数 调制 的 高 级 推理 。 最 后 ， 我 们 把 Prolog 解释 器 描述 为 一 个 基于 Hom 子 句 和 归结 的 推理 
系统 ， 并 将 Prolog 计算 看 成 是 逻辑 程序 设计 范例 的 一 个 实例 。 

第 15 章 介绍 自然 语言 理解 。 我 们 在 第 7 章 中 已 经 介绍 过 传统 的 自然 语言 理解 方法 ， 就 是 用 
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许多 语法 结构 进行 例 示 。 这 里 我 们 又 补充 了 随机 方法 ， 包 括 马尔 可 夫 模 型 、 图 解析 (Earley 算 
法 ) 、 交 互信 息 聚 类 和 基于 统计 的 解析 。 本 章 的 最 后 是 几 个 例子 ， 包 括 将 这 些 自然 语言 理解 技术 应 
用 于 数据 库 查 询 系统 〈 一 个 文本 摘要 系统 ) 以 及 使 用 机 器 学 习 方 法 去 泛 化 从 万 维 网 获得 的 结果 。 

最 后 ， 第 16 章 是 本 书 的 后 记 。 其 中 提 到 了 智能 系统 科学 的 可 能 性 问题 ， 考 虑 了 现在 ATI 面临 
的 挑战 ， 讨 论 了 目前 AI 的 限制 ， 并 设计 了 AI 激动 人 心 的 未 来 。 


使 用 本 书 


人 工 智能 是 一 个 很 大 的 领域 ， 因 此 这 是 一 本 很 厚 的 书 。 尽 管 学 习 本 书 时 可 能 会 需要 超过 一 
个 学 期 才能 覆盖 里 面 所 有 的 内 容 ， 但 是 我 们 对 本 书 进 行 了 仔细 设计 ， 使 得 大 家 可 以 采取 不 同 的 
路 径 来 学 习 其 中 的 内 容 。 通 过 选择 内 容 的 子 集 ， 我 们 既 可 以 将 这 本 教材 用 于 一 个 学 期 的 课程 ， 也 
可 以 用 于 整个 学 年 〈 两 个 学 期 ) 的 课程 。 

我 们 假设 绝 大 多 数学 生 已 经 学 习 了 离散 数学 的 人 门 课程 ， 包 括 谓词 演算 、 集 合 论 、 计 数 和 图 
论 。 如 果 学 生 没 有 学 过 这 些 课程 ， 那 么 教师 应 该 花 更 多 的 时 间 讲 解 本 书 开始 部 分 (2.1 节 、3. 1 
节 和 5.1 节 ) 的 那些 概念 。 我 们 还 假设 学 生 已 经 学 习 了 数据 结构 课程 ， 包 括 树 、 图 、 递归 搜索 ， 
会 使 用 堆栈 、 队 列 和 优先 级 队列 。 如 果 学 生 没有 学 过 这 些 课程 ， 那 么 多 花 些 时 间 在 第 3、4、6 章 
的 开始 部 分 。 

在 一 个 学 期 的 课程 中 ， 我 们 会 很 快 扫 过 本 书 的 前 两 部 分 。 有 了 这 个 准备 ， 学 生 就 能 够 看 懂 第 
三 部 分 的 内 容 。 接 着 考虑 补充 材料 中 的 Prolog、LISP 或 者 Java 代码 ， 要 求学 生 实现 第 二 部 分 中 的 
主要 表示 和 搜索 技术 。 也 可 以 选择 在 课程 中 早点 介绍 一 门 语言 (如 Prolog) ， 来 检验 过 到 的 数据 
结构 和 搜索 技术 。 我 们 觉得 语言 部 分 介绍 的 元 解 释 器 对 于 构建 基于 规则 的 和 其 他 知识 密集 型 问 
题 的 求解 器 很 有 帮助 。Prolog 、LISP 和 Java 都 是 构建 自然 语言 理解 和 学 习 系统 的 极 好 工具 ， 这 些 
结构 在 第 二 部 分 和 第 三 部 分 加 以 介绍 ， 在 补充 材料 中 有 相关 例子 。 

在 两 个 学 期 的 课程 中 ， 可 以 覆盖 第 四 部 分 和 第 五 部 分 中 的 所 有 应 用 领域 ， 特 别 是 机 器 学 习 
的 几 章 ， 要 进行 较为 详细 的 讲解 。 我 们 也 期 望 学 生 做 一 个 更 详细 的 程序 设计 项 目 。 我 们 认为 这 对 
于 学 生 在 第 二 学 期 复习 AI 文献 中 的 许多 基本 资源 非常 重要 。 让 学 生 知道 我 们 处 于 AI 事业 发 展 中 
的 什么 位 置 、 我 们 如 何 到 达 这 里 并 且 让 学 生 对 人 工 智能 未 来 的 进展 有 一 个 认识 都 是 至 关 重要 的 ， 
为 此 我 们 使 用 互联 网 上 的 资料 或 者 选择 一 个 读物 合集 ， 比 如 《 Computation and Intelligence》 
(Luger 1995 ) 。 

本 书 中 的 算法 采用 类 Pascal 的 伪 代 码 进行 描述 。 符 号 中 使 用 了 Pascal 的 控制 结构 及 英语 描述 
的 检查 和 操作 。 我 们 在 Paseal 控制 结构 中 加 入 了 两 个 有 用 的 结构 。 第 一 个 是 修改 过 的 case 语句 ， 
它 使 每 一 个 分 支 都 可 以 用 一 个 任意 的 布尔 检 检 来 标记 ， 而 不 是 像 在 标准 Pascal 中 只 能 将 一 个 变量 
的 值 与 不 变 的 case 标记 相 比 较 。case 依次 测试 这 些 条 件 ， 直到 一 个 为 真 ， 然 后 执行 相关 的 动 
作 ; 所 有 其 他 动作 被 忽略 。 熟 悉 LISP 的 人 会 注意 到 这 和 LISP 的 cond 语句 有 同样 的 语义 。 

另 一 个 增加 的 有 用 结构 是 returm 语句 ， 它 可 以 有 一 个 参数 ， 可 以 出 现在 过 程 或 函数 中 的 任何 
位 置 。 当 遇 到 retum 时 ， 会 使 程序 立即 退出 该 函数 ， 将 其 参数 作为 结果 返回 。 除 此 之 外 ， 我 们 都 
使 用 Pascal 的 结构 ， 再 加 上 英语 描述 ， 这 可 以 使 算法 清晰 易 读 。 


可 以 获得 的 补充 材料 
第 6 版 附带 了 由 我 的 研究 生 维护 的 网 站 。 这 个 网 站 由 新 墨 西 森 大 学 的 两 个 研究 生 Alejandro 
CdeBaca 和 Cheng Liu 建立 。 网 站 的 内 容 包括 大 多 数 章节 后 面 建议 的 补充 材料 、 一 些 示 例 问 题 及 


其 解决 方法 以 及 对 学 生 项 目的 许多 建议 。 除 了 补充 材料 中 的 Prolog、LISP 和 Java 程序 外 ， 网 站 上 
还 有 许多 用 Java 和 C ++ 写 的 AI 算法。 欢迎 同学 们 使 用 这 些 材料 ， 并 添加 自己 的 评论 、 代码 和 批 
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评 。 网 站 地 址 是 www. cs. unm. edu/ ~ luger/ai - final/ 。 
我 的 E-mail 地 址 是 luger@ cs. unm. edu， 欢 迎 各 位 读者 来 信 交 流 心得 体会 。 
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第 一 部 分 “人工 智 能 的 历史 渊源 
及 研究 范围 











用 桑 乔 的 话说 ， 万 物 都 必须 有 个 开头 ， 而 且 这 个 开头 一 定 与 过 去 曾 存在 的 事物 有 联系 。 印 度 
教徒 认为 大 象 支撑 世界 ， 但 又 认为 大 象 是 站 在 龟 背 上 的 。 发 明 并 不 是 要 异想天开 ， 而 是 要 脚 踏 实 
地 ， 必 须 得 到 社会 的 承认 …… 

一 一 玛丽 . 雪 菜 《 弗 兰 肯 斯 坦 》 


人 工 智能 : 一 个 尝试 性 的 定义 


可 以 把 人 工 智 能 (Artificial Intelligence，AI) 定义 为 计算 机 科学 的 一 个 分 支 ， 它 关心 智能 行 
为 的 自动 化 。 本 书 恰 好 使 用 这 样 的 定义 ， 因 为 这 个 定义 强调 了 AI 是 计算 机 科学 的 一 部 分 ， 因 而 
必须 建立 在 坚实 的 理论 基础 之 上 并 应 用 计算 机 科学 领域 的 原理 。 这 些 原理 包括 用 于 知识 表示 的 
数据 结构 、 应 用 该 知识 所 需 的 算法 以 及 用 来 实现 算法 的 语言 和 编程 技术 。 

然而 ， 这 个 定义 由 于 “智能 ”本 身 并 没有 被 很 好 地 定义 和 理解 而 受到 影响 。 虽 然 大 多 数 人 
确信 在 看 到 智能 行为 时 能 识别 出 它 是 智能 的 ， 但 是 似乎 没有 人 人 能够 使 “智能 ”的 定义 既 足 够 具 
体 以 评估 计算 机 程序 的 智能 性 ， 同 时 又 反映 了 人 类 意识 的 生动 性 和 复杂 性 的 特性 。 

这 样 实现 一 般 智 能 这 个 困难 的 任务 的 结果 是 AI 研究 者 通常 表现 为 工程 师 的 角色 ， 即 塑造 特 
定 智能 的 人 工 制 品 。 这 些 制 品 通 常 以 诊断 、 预 测 或 可 视 化 工具 的 形式 出 现 ， 能 够 使 得 人 类 使 用 者 
完成 复杂 的 任务 。 例 如 ， 用 以 语言 理解 的 马尔 可 夫 模 型 ， 提 供 新 数学 理论 的 自动 推理 系统 ， 通 过 
大 脑 皮 层 网 跟踪 信和 号 的 动态 贝 叶 斯 网 络 ， 以 及 基因 表达 数据 模式 的 可 视 化 ， 这 些 例子 将 会 在 1.2 
节 的 应 用 中 加 以 介绍 。 

因此 ， 定 义 人 工 智能 完全 领域 的 问题 就 变 成 了 定义 智能 本 身 的 问题 : 智能 是 一 种 独立 的 才 
能 ， 还 是 一 系列 独一无二 且 不 相关 联 的 能 力 的 总 称 ? 在 多 大 程度 上 可 以 说 智能 是 学 到 的 而 不 是 
预先 存在 的 ? 准确 地 说 ， 学 习 时 发 生 了 什么 ? 什么 是 创造 力 ? 什么 是 直觉 ? 智能 是 从 可 观察 行为 
推断 出 的 ， 还 是 需要 特定 内 部 机 制 的 证 据 ? 在 一 个 生物 体 的 神经 组 织 中 ， 知 识 是 以 何 种 形式 表示 
的 ， 这 对 智能 机 器 的 设计 有 什么 启示 ? 什么 是 自觉 它 在 智能 中 起 着 什么 样 的 作用 ? 另外 ， 有 必 
要 按照 已 知 的 人 类 智能 模式 来 设计 智能 计算 机 程序 吗 ? 或 者 说 ， 严 格 的 “工程 ”方法 足以 解决 
这 个 问题 吗 ?甚至 有 可 能 在 计算 机 上 实现 智能 吗 ? 智能 实体 是 不 是 需要 只 有 在 生物 中 存在 的 丰 
富 感 受 和 经 历 ? 

这 是 一 些 很 难 回答 的 问题 ,但 这 些 问题 帮助 我 们 勾勒 出 了 现代 人 工 智能 所 研究 的 核心 问题 
及 求解 方法 。 实 际 上 ， 人 工 智能 的 魅力 很 大 程度 上 就 在 于 它 提供 了 一 种 独特 而 又 强大 的 工具 来 
精确 探索 这 些 问题 。AI 为 智能 理论 提供 了 一 种 媒介 和 实验 台 : 首先 用 计算 机 程序 语言 表达 出 这 
些 理 论 ， 然 后 在 实际 计算 机 上 执行 来 进行 测试 和 验证 。 

因此 ， 我 们 前 面 给 人 工 智能 下 的 定义 看 上 去 有 些 含糊 。 但 是 如 果 将 定义 表述 得 面面俱到 ， 很 
可 能 会 产生 一 些 更 深层 的 问题 和 相互 矛盾 的 概念 ， 因 为 该 领域 的 主要 目标 已 经 包含 了 它 目 已 的 
定义 。 不 过 ， 在 探索 AI 精确 定义 的 过 程 中 过 到 一 些 困 难 是 正常 的 。 人 工 智 能 还 是 一 个 年 轻 的 学 
科 ， 它 的 结构 、 目 标 以 及 方法 肯定 不 像 物理 这 样 的 成 熟 学 科 定 义 得 那么 明确 。 
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相对 于 定义 人 工 智 能 的 边界 来 说 ， 我 们 在 考虑 人 工 智能 时 一 向 更 关心 如 何 扩展 计算 机 科学 
的 能 力 。 因 此 ， 如 何 保证 这 种 探索 始终 建立 在 合理 的 理论 依据 之 上 是 AI 研究 者 面临 的 一 个 挑战 ， 
对 本 书 来 说 更 是 如 此 。 

因为 人 工 智能 范围 和 目标 的 复杂 性 ， 很 难 给 出 简单 定义 。 目 前 ， 我 们 将 其 定义 为 “人 工 知 
能 研究 者 所 研究 的 问题 和 方法 的 集合 " 。 这 个 定义 看 上 去 好 像 有 些 可 笑 、 没 有 意义 ， 但 它 强调 了 
非常 重要 的 一 点 : 人 工 智能 像 所 有 学 科 一 样 ， 是 人 类 努力 的 成 果 ， 而 且 只 有 在 这 个 背景 下 它 才 能 
被 最 好 地 理解 。 

任何 学 科 ， 包括 AI， 所 关心 的 都 是 某 一 特定 的 问题 集 ， 并 建立 一 套 特 定 的 技术 体系 来 求解 
这 些 问 题 ， 这 是 有 很 多 原因 的 。 在 第 1 章 中 ， 我 们 将 介绍 人 工 智能 的 简短 历史 以 及 建立 这 一 学 科 
的 学 者 和 各 种 假定 ， 并 以 此 来 解释 : 为 什么 某 些 问 题 集 已 经 成 为 这 一 领域 的 主导 ， 以 及 为 什么 本 
书 所 讨论 的 方法 已 经 用 来 求解 这 些 问题 。 


第 1 章 ”人工 智能 的 历史 及 应 用 


求知 是 人 的 天 性 …… 
一 一 亚 里 士 多 德 ,，《 形 而 上 学 》 的 开篇 名 


听 完 下 面 的 话 ， 你 会 更 惊叹 于 我 所 创造 的 技术 与 智慧 。 最 伟大 的 是 : 从 前 ， 人 类 对 疾病 束 手 
无 策 ， 他 们 既 没 有 药 吃 ， 也 没有 药 喝 或 药 章 数 ; 因为 没有 药物 医治 ,很 多 人 渐渐 衷 弱 ， 直 到 我 向 
他 们 传授 了 如 何 调制 解 痛 药 剂 ， 他 们 才 会 用 药物 驱除 各 种 疾病 ……. 

是 我 ,使 人 类 看 到 了 天 上 的 火焰 ， 此 前 则 是 一 片 在 暗 。 大 地 之 下 ， 隐 藏 的 财富 如 此 之 多 : 
金 、 银 、 钢 、 铁 一 一 谁 敢 说 比 我 先 发 现 了 它们 ? 我 确信 没有 人 会 这 么 说 ， 只 要 他 说 的 是 真 的 、 中 
肯 的 。 总 而 言 之 ,， 人 类 所 拥有 的 一 切 技 术 都 来 自 普罗 米 修 斯 。 

一 一 埃 斯 库 罗 斯 《被 缔 的 普罗 米 修 斯 》 


1.1 从 伊甸园 到 第 一 台电 子 计算 机 : 对 智能 、 知 识 和 人 类 技能 的 态度 


普罗 米 修 斯 这 样 评价 他 违反 奥 林 匹 斯 山神 灵 所 取得 的 战果 : 他 不 仅仅 为 人 类 盗 取 了 火种 ， 
而 且 用 智慧 也 就 是 心灵 的 钥匙 一 一 一 种 “理性 思想 ”一 一 启蒙 了 人 类 。 智 慧 是 一 切 人 类 技术 万 
至 文明 之 本 。 古 希腊 剧 作家 埃 斯 库 罗 斯 用 这 个 神话 阐述 了 一 种 对 知识 的 非凡 威力 的 深 图 而 又 古 
朴 的 理解 。 今 天 ， 人 工 智 能 已 经 被 应 用 到 普罗 米 修 斯 贡献 过 的 所 有 领域 一 -医学 、 哲 学、 生物 
学 、 天 文学 、 地 理学 ， 以 及 埃 斯 库 罗 斯 无 法 预见 的 许多 其 他 科学 领域 。 

虽然 普罗 米 修 斯 把 人 类 从 无 知 的 禁 钢 中 解放 出 来 ， 但 是 他 的 行为 却 激怒 了 宙斯 。 由 于 普罗 
米 修 斯 窃取 了 本 来 只 属于 奥 林 匹 斯 山神 灵 的 智慧 ， 因 此 宙斯 下 令 把 普罗 米 修 斯 锁 在 光秃秃 的 石 
头 上 经 受 永 世 的 折磨 。 关 于 人 类 获取 知识 的 努力 触犯 了 神灵 或 自然 法 则 的 观点 在 西方 思想 中 根 
深 带 固 ， 这 就 是 伊甸园 故事 的 基础 ， 也 出 现在 但 丁 和 米尔 顿 的 著作 中 。 莎 士 比 亚 和 古 希 腊 翡 剧 家 
们 都 把 对 知识 的 渴望 描述 为 灾难 之 源 。 这 种 寻求 知识 最 终 会 导致 灾难 的 观念 自 产 生 以 来 一 直 存 
在 ， 无 论 是 文艺 复兴 时 期 、 还 是 启蒙 运动 时 期 ， 甚 至 包括 在 科学 和 哲学 大 发 展 的 19 世纪 和 20 世 
纪 。 因 此 ， 人 工 智能 在 学 术 领 域 和 大 众 思 想 中 引发 的 诸多 争议 根本 不 足 为 奇 。 

事实 上 ,现代 科 技 并 没有 使 人 们 消除 这 种 自古 而 来 的 钨 惧 一 一 即 渴望 知识 会 导致 恶果 ， 而 
是 使 人 们 意识 到 产生 那样 的 后 果 是 很 有 可 能 的 ， 甚 至 是 即将 来 临 的 。 今 天 ， 人 们 用 科技 社会 的 语 
言 重新 讲述 着 普罗 米 修 斯 、 夏 娃 和 浮 士 德 的 神话 。 玛 丽 . 雪 莱 在 她 的 《 弗 兰 肯 斯 坦 》( 该 书 的 副 
标题 很 有 趣 ， 叫 《现代 普罗 米 修 斯 》) 一 书 的 序言 中 这 样 写 道 : 


大 多 是 拜 伦 勋 事 和 雪 莱 之 间 的 对 话 ， 而 我 只 是 一 个 虎 诚 、 安 静 的 听众 。 其 中 有 一 次 ,他们 讨 
论 了 各 种 哲学 学 说 ， 以 及 有 关 生 命 原 理 的 问题 ， 并 且 谈 到 这 些 原理 有 否 可 能 曾 被 发 现 和 讨论 过 。 
他 们 谈 及 了 达尔 文博 士 的 实验 〈 我 不 能 确认 达尔 文博 士 是 否 真 正 做 过 这 个 实验 ， 我 只 是 说 当时 有 
人 讲 他 做 过 这 样 的 实验 ) ， 他 把 一 段 蠕 虫 (vermicelli) 储藏 在 玻璃 缸 中 ， 在 采取 了 一 些 特殊 方法 
之 后 ， 它 开始 自发 运动 。 难 道生 命 不 是 这 样 形成 的 吗 ? 或 许 死尸 还 可 能 复活 ; 流 电 电流 实验 已 经 
让 我 们 看 到 了 这 样 的 迹象 : 生命 体 的 组 成 部 分 可 以 被 制造 、 组 合并 注 人 活力 (Butler 1998 ) 。 
玛丽 * 雪 莱 告诉 我 们 ， 诸 如 达尔 文 的 进化 论 和 发 现 电 流 这 样 的 科学 进步 已 经 使 普通 民众 相 
信 : 自然 法 则 并 非 奥妙 无 穷 ， 而 是 可 以 被 系统 分 析 和 理解 的 。 弗 兰 肯 斯 坦 的 魔鬼 并 不 是 “ 萨 满 
教 ” 开 语 或 与 地 狱 可 怕 交 易 的 产物 ;而 是 由 一 个 个 单独 “制造 ”的 部 件 组 装 起 来 的 ， 并 且 被 注 
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人 了 强大 的 电能 。 尽 管 19 世纪 的 科学 还 不 足以 使 人 认识 到 理解 和 创造 一 个 完全 智能 主体 的 意义 ， 
但 它 至 少 加 深 了 这 样 的 认识 : 生命 和 智慧 的 奥秘 可 以 被 纳入 到 科学 分 析 中 。 


1.1.1 人 工 智 能 基础 的 简要 历史 


在 玛丽 . 雪 莱 最 终 并 可 能 必然 地 将 普罗 米 修 斯 神话 与 现代 科学 结合 在 一 起 时 ， 当 代 人 工 知 
能 研究 的 哲学 基础 已 经 发 展 了 几 千 年 。 虽 然 人 工 智 能 引发 的 伦理 和 文化 方面 的 问题 既 有 趣 又 重 
要 ， 但 是 我 们 的 介绍 更 应 该 关注 AI 的 智能 渊源 。 这 一 历史 进程 的 逻辑 起 点 应 该 是 天 才 亚 里 士 多 
德 ， 但 本 在 《神曲 》 中 称 其 为 “智者 先 师 * 。 亚 里 士 多 德 用 精细 分 析 和 严谨 思维 《这 种 分 析 方 法 
和 思维 模式 后 来 逐渐 被 更 现代 的 科学 引 为 标准 ) 把 早期 希腊 传统 文化 中 的 发 现 、 困 惑 和 慌 恨 编 
织 在 一 起 。 

对 亚 里 士 多 德 来 说 ， 自 然 世 界 最 奇妙 的 一 面 就 是 变化 。 他 在 著作 《物理 学 》 中 把 他 的 “ 自 
然 哲 学 ”定义 为 “对 变化 事物 的 研究 "。 他 指出 了 物质 〈matter) 与 形式 (form) 之 间 的 区 别 ; 
有 雕像 是 用 青铜 材料 做 成 人 的 形式 。 当 青铜 被 改 铸 成 新 的 形式 时 ， 变 化 便 发 生 了 。 把 物质 和 形式 区 
分 开 来 为 很 多 现代 概念 商定 了 哲学 基础 ， 比 如 符号 计算 和 数据 抽象 。 在 计算 〈 即 使 是 数字 计算 ) 
中 ,我 们 是 在 操纵 电磁 材料 形式 的 模式 ， 这 些 材料 形式 的 改变 代表 求解 过 程 的 多 个 方面 。 把 形式 
从 它 所 表示 的 介质 中 抽象 出 来 不 仅 使 我 们 可 以 用 计算 方式 操纵 这 些 形 式 ， 而 且 还 为 数据 结构 理 
论 一 “现代 计算 机 科学 的 核心 一 一 打下 了 基础 。 它 也 支持 “人 工 的 ”智能 的 产生 。 

” 亚 里 士 多 德 在 著作 《形而上学 》 的 开篇 就 指出 “求知 是 人 的 天 性 ”， 他 发 展 了 永 不 改变 的 事 
物 的 科学 ,包括 他 的 宇宙 论 和 神学 。 不 过 和 人 工 智能 关系 更 密切 的 是 亚 里 士 多 德 在 其 著作 《次 
辑 学 》 中 所 讨论 的 认识 论 ， 即 人 类 如 何 “ 认 识 ” 世 界 的 分 析 。 亚 里 士 多 德 把 他 的 逻辑 称 为 “ 工 
具 ”( 《工具 论 》) ， 因 为 他 感到 对 思想 本 身 的 研究 是 所 有 知识 的 基础 。 在 《逻辑 学 》 中 他 发 现 : 
说 某 个 命题 为 真是 因为 它 与 其 他 已 知 为 真 的 事物 相 联系 。 因此， 如 果 我 们 知道 “所 有 人 都 会 死 ” 
和 “ 苏 格 拉 底 是 人 ”， 那 么 我 们 就 可 以 推出 “ 苏 格 拉 底 会 死 "。 这 便 是 亚 里 士 多 德 所 说 的 三 段 论 
的 一 个 例子 ， 其 中 使 用 了 假 言 推理 法 的 演绎 推理 形式 。 尽 管 推 理 的 形式 化 公理 形式 是 在 2000 多 
年 后 的 哥 特 洛 布 . 弗 雷 格 、 贝 特 朗 . 罗素 、 库 尔 特 ， 哥 德尔 、 艾 伦 (阿兰 ) ， 图 灵 《Alan Tur- 
ing) 、 艾 尔 弗 雷 德 . 塔 尔 斯 基 等 人 的 努力 下 完全 发 展 起 来 的 ， 但 是 其 根源 可 以 追溯 到 亚 里 士 
多 德 。 

建立 在 希腊 传统 文化 之 上 的 文艺 复兴 思想 激发 人 们 以 新 的 、 更 有 力 的 方式 来 思考 人 类 及 其 
与 自然 界 的 关系 。 科 学 开始 取代 神秘 主义 成 为 理解 自然 的 手段 ， 时 钟 和 最 终 的 工厂 时 间 表 改变 
了 成 千 上 万 城市 居民 的 自然 节奏 。 大 多 数 现代 社会 科学 和 自然 科学 都 可 以 在 自然 或 人 工 过 程 中 
找到 其 根源 ， 并 可 从 数学 上 分 析 和 理解 。 特 别 是 ， 科 学 家 和 哲学 家 们 意识 到 思想 本 身 〈 即 知 识 
在 人 类 头脑 中 的 表示 和 操纵 方式 ) 是 科学 研究 中 一 个 艰难 而 又 本 质 的 课题 。 

现代 世界 观 发 展 中 最 主要 的 事件 或 许 就 是 哥 白 尼 革命 ， 即 地 球 和 其 他 行星 实际 上 是 在 围绕 
太阳 旋转 的 思想 ， 它 取代 了 古老 的 以 地 球 为 中 心 的 宇宙 模型 。 此 前 的 数 个 世纪 中 ， 人 们 习惯 了 
“显而易见 ”的 秩序 ， 在 这 种 秩序 中 ， 对 宇宙 特征 的 科学 解释 与 宗教 教义 和 常识 知识 是 吻合 的 ， 
而 哥 白 尼 提出 了 -种 完全 不 同 的 而 且 并 非 显 而 易 见 的 模型 来 解释 天 体 的 运动 。 或 许 这 是 第 一 次 
发 现 : 人 类 对 世界 的 看 法 与 世界 的 表象 有 了 根本 的 差异 。 这 种 人 类 思想 与 其 周围 实体 的 分 离 ， 也 
就 是 对 事物 的 看 法 与 事物 本 身 的 分 离 ， 对 现代 科学 中 关于 智慧 及 其 组 织 的 研究 起 到 了 关键 作用 。 
伽利略 的 著作 扩大 了 哥 白 尼 的 突破 ， 他 的 科学 观察 进一步 反驳 了 关于 世界 的 所 谓 “ 显 而 易 见 
的 真理 ， 他 以 数学 作为 描述 世界 的 工具 ， 强 调 了 世界 本 身 与 我 们 对 世界 看 法 的 差异 。 现 代 的 意识 
概念 正 是 从 这 一 突破 演化 而 来 的 ; 自省 成 为 文学 的 一 种 常见 主题 ; 哲学 家 开始 研究 认识 论 和 数 
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学 ; 而 且 科学 方法 的 系统 应 用 使 人 们 不 再 把 感觉 作为 理解 世界 的 工具 。 

1620 年 ， 弗 朗 西 斯. 培根 在 《新 工具 论 》 (Novum Organun) 中 为 这 些 新 出 现 的 科学 方法 学 
提出 了 一 套 搜索 技术 。 基 于 亚 里 士 多 德 学 派 和 柏拉图 哲学 的 思想 ， 即 实体 的 形式 等 价 于 其 充分 
上 必要 的 特征 的 总 和 ， 培 根 清楚 地 描述 了 一 个 确定 实体 本 质 特征 的 算法 。 首 先 ， 他 为 实体 的 所 有 实 
例 构造 了 一 个 有 效 集合 ， 将 每 个 实例 的 特征 列举 到 一 张 表 中 。 然 后 ， 他 收集 实体 反例 的 一 个 类 似 
列表 ， 特 别 注意 实体 的 相近 实例 ， 即 那些 因 个 别 特 征 而 背离 实体 形式 的 实例 。 接 着 培根 尝试 做 出 
实体 所 有 本 质 特征 系统 的 列表 ， 具 体 来 说 ， 就 是 那些 所 有 正 例 都 具有 且 所 有 反例 都 不 具有 的 特 
征 , 但 是 这 一 步 还 不 完全 清楚 。 

有 趣 的 是 ， 现 代 人 工 智 能 算法 中 的 变形 空间 搜索 也 用 到 了 弗朗西斯 . 培根 的 概念 学 习 方 法 
的 一 种 形式 ，10. 2 节 有 相关 介绍 。 培 根 的 算法 的 一 个 扩展 也 是 发 现 学 习 智能 程序 的 一 部 分 ， 相 
应 地 称 为 培根 算法 (Langley et al 1981)。 这 个 程序 能 够 从 与 现象 有 关 的 数据 集中 归纳 出 许多 物 
理 定律 。 值 得 注意 的 问题 是 ， 一 个 通用 算法 的 目的 在 于 能 够 提供 科学 的 证 据 。20 世纪 早期 的 数 
学 家 希 尔 伯 特 挑战 过 这 个 问题 (判定 问题 ); 当代 的 天 才 艾 伦 . 图 灵 也 对 这 个 问题 做 出 了 回答 
(他 的 图 灵机 、 可 计算 性 的 证 明和 停机 问题 ); 参见 Davis 等 (1976)。 

最 早 的 计算 机 器 是 中 国 的 算盘 ， 虽 然 早 在 公元 前 26 世纪 就 发 明了 ， 但 直到 17 世纪 欧洲 的 技 
术 才 制造 出 能 够 处 理 代数 运算 的 更 先进 的 机 械 。1614 年 ， 苏 格 兰 数学 家 约 输 . 纳 皮 尔 (John 
Napier) 提出 了 对 数 ， 即 能 够 将 乘法 和 指数 运算 分 别 降低 为 加 法 和 乘法 的 转换 机 制 。 纳 皮尔 还 创 
立 了 用 来 表示 代数 运算 溢出 值 的 框架 。 后 来 ， 德 国 数学 家 、 图 宾 根 的 牧师 一 -威廉 . 谢 卡特 
(Wilhelm Schickard, 1592—1635) 将 这 些 框架 应 用 于 1623 年 发 明 的 能 执行 加 减法 的 计算 钟 ， 
这 个 机 器 能 够 通过 钟表 铃声 记录 运算 中 的 溢出 。 

另 一 个 有 名 的 计算 机 器 是 法 国 哲学 家 和 数学 家 布 莱 效 .帕斯卡 1642 年 制造 的 齿轮 加 法 器 
〈 称 为 Pascaline) 。 虽 然 谢 卡特 和 帕斯卡 的 机 械 装 置 仅 限 于 加 法 和 减法 一 包括 进位 和 借 位 ， 但 
它们 标志 了 以 前 被 认为 是 需要 人 类 思维 的 过 程 能 够 完全 自动 化 。 正 如 帕斯卡 后 来 在 其 著作 《 静 
思 录 》 (Pensees 1670) 中 写 到 ,“ 算 术 机 器 提供 了 关于 哪 种 方法 比 动物 行为 更 接近 思维 的 一 些 
印象 ”。 

莱 布 尼 兹 (Gottfried Wilhelm von Leibniz) 从 帕斯卡 在 计算 机 器 方面 取得 的 成 功 中 得 到 了 灵 
感 ， 在 1694 年 完成 了 一 个 机 器 ， 后 来 称 为 菜 布 尼 兹 轮子 (Leibnizs Wheel) 。 这 台 机 器 包括 一 个 可 
移动 的 托 架 和 一 个 手动 曲柄 ， 曲 柄 能 够 驱动 轮子 和 滚 简 执行 更 复杂 的 乘除 法 运算 。 莱 布 尼 效 还 
迷 上 了 定理 证 明 的 自动 逻辑 推理 的 可 能 性 。 回 到 培根 的 实体 特 化 算法 ， 概 念 被 刻画 为 实体 必要 
且 充 分 特征 的 集合 ， 莱 布 尼 兹 假想 了 一 台 能 够 用 这 些 特征 进行 计算 并 生成 逻辑 上 正确 的 结论 的 
机 器 。 莱 布 尼 兹 (1887) 还 预想 了 一 台 机 器 ， 用 这 台 机 器 可 以 使 科学 知识 的 产生 变 成 全 自动 的 ， 
这 反映 了 现代 演绎 推理 和 证 明 思 想 ， 是 一 种 推理 演算 。 

17 世纪 和 18 世纪 ， 涌现 了 大 量 关 于 认识 论 问题 的 讨论 ， 最 有 影响 的 可 能 是 笛 卡 儿 的 研究 ， 
他 是 现代 思想 概念 和 意识 理论 发 展 的 核心 人 物 。 在 他 的 著名 作品 《沉思 》 中 ， 向 卡 儿 试 图 完全 
通过 认 知 自省 来 寻找 现实 基础 。 在 完全 否认 感觉 输入 的 可 信赖 性 后 ， 笛 卡 儿 甚至 被 迫 怀疑 物理 
世界 的 存在 ， 仅 保留 了 思想 的 真实 性 ; 甚至 他 自己 的 存在 也 要 由 思想 来 判定 : “我 思 故 我 在 ”。 
在 建立 了 他 自己 完全 是 以 思考 实体 存在 的 思想 后 ， 笛 卡 儿 推论 出 上 帝 是 以 不 可 缺少 的 创造 者 身 
份 存在 的 ， 并 且 重 申 了 物理 宇宙 的 真实 性 ， 因 为 它 是 产生 仁慈 上 帝 的 必要 条 件 。 

这 里 我 们 可 以 观察 两 个 有 趣 的 现象 : 第 一 ， 意 识 和 物理 世界 的 分 离 已 经 变 得 如 此 彻底 以 至 
于 可 以 脱离 开 特定 的 感知 输入 或 世界 中 的 物质 来 讨论 思考 过 程 ; 第 二 ， 意 识 和 物理 世界 的 联系 
是 如 此 脆弱 以 至 于 要 得 到 支持 物理 世界 的 可 靠 知识 竟 需 要 仁慈 上 帝 的 干预 。 这 种 意识 和 物理 世 
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界 之 间 关 系 的 两 面 性 成 为 支撑 所 有 人 笛 卡 儿 思想 的 基础 ， 包 括 他 的 解析 几何 学 。 不 然 的 话 ， 他 怎么 
能 把 几何 这 样 一 个 表面 上 比较 物化 的 数学 分 支 和 代数 这 样 一 个 抽象 数学 框架 统一 起 来 呢 ? 

我 们 为 什么 要 在 关于 人 工 智 能 的 书 中 讨论 包含 心身 的 问题 呢 ? 原因 很 简单 ， 以 上 分 析 的 两 
点 结论 对 人 工 智能 来 说 是 至 关 重 要 的 : 

1) 通过 把 意识 从 物理 世界 中 分 离 出 来 ， 笛 卡 儿 和 有 关 的 思想 家 建立 了 一 个 重要 的 理论 ; 对 
世界 看 法 的 结构 不 一 定 要 与 其 对 应 的 物质 结构 完全 相同 。 这 正 是 AL、 认识 论 、 心 理学 、 高 等 数 
学 以 及 大 多 数 现代 文学 等 领域 的 方法 学 基础 ， 即 精神 过 程 有 其 自身 的 存在 形式 ; 遵循 其 自身 的 
法 则 ; 其 本 身 可 以 被 研究 和 学 习 。 . 

2) 在 把 意识 和 身体 分 离开 后 ， 哲 学 家 们 发 现 有 必要 找到 一 种 方式 把 它们 联系 起 来 ， 因 为 精 
神 和 肉体 的 相互 作用 是 人 类 存在 的 关键 。 

虽然 已 经 有 数 百 万 的 文字 论述 心身 (mind-body) 问题 ,而 且 已 经 提出 了 许多 答案 , 但 是 没 
有 人 能 成 功 地 解释 精神 状态 与 肉体 行为 之 间 明 显 的 相互 作用 ， 即 使 可 以 断言 二 者 间 存 在 根本 的 
差异 。 这 一 问题 最 被 广泛 接受 的 说 法 是 意识 与 身体 根本 不 是 完全 不 同 的 实体 。 根 据 这 种 观点 ， 精 
神 过 程 实际 上 是 通过 像 大 脑 (或 计算 机 ) 这 样 的 物理 系统 来 实现 的 。 精 神 过 程 像 物理 过 程 一 样 
最 终 要 通过 形式 化 的 数学 语言 来 描述 。 或 者 ， 正 如 17 世纪 英国 哲学 家 托马斯 霍 布 斯 (1651 1) 
在 《 利 维 坦 》 (Leviathan ，《 圣 经》 中 描写 的 一 种 怪兽 ) 中 所 承认 的 ，“ 我 认为 逻辑 推理 就 是 
计算 ”。 

1. 1.2 理性 主义 和 经 验 主义 学 派对 人 工 智 能 的 影响 


人 工 智 能 领域 目前 的 研究 问题 ， 与 其 他 科学 学 科 一 样 ， 是 在 历史 、 社 会 和 文化 的 共同 影响 下 
形成 和 发 展 的 。 在 人 工 智能 发 展 中 最 显著 的 两 个 影响 是 哲学 上 的 经 验 主 义 和 理 性 主义 学 派 。 

前 面 章节 曾经 提 到 过 ， 早 在 柏拉图 的 著作 中 就 支持 理性 主义 学 派 ， 后 来 在 帕斯卡 、 笛 卡 儿 和 
莱 布 尼 兹 的 著作 中 也 支持 理性 主义 学 派 。 对 理性 主义 者 来 说 ， 外 部 世界 可 以 通过 清晰 明确 的 数 
学 思想 重建 。 对 这 种 二 元 方法 的 批评 之 一 是 表示 系统 被 强制 从 参考 领域 中 脱离 出 来 。 问 题 在 于 
能 和 否 独立 于 应 用 条 件 来 定义 表示 所 具有 的 含义 。 如 果 世 界 是 与 我 们 对 世界 的 信念 不 同 的 ， 那 么 
我 们 创造 的 概念 和 符号 是 否 仍然 有 意义 ? 

许多 人 工 智能 程序 都 有 很 多 这 种 理性 主义 的 味道 。 例 如 ， 早 期 的 机 器 人 规划 者 将 其 应 用 领 
域 或 “世界 ”描述 为 谓词 演算 语句 的 集合 ， 动 作 的 “规划 ”能 够 通过 证 明 关 于 “世界 ”的 定理 
来 生成 (Fikes et al. 1972， 另 见 8.4 节 )。 在 现代 人 工 智 能 中 ， 大 多 数 人 将 纽 维尔 (Newell) 和 西 
蒙 (Simon) 的 物理 符号 系统 假设 (第 二 部 分 和 第 17 章 有 介绍 ) 看 作 是 这 种 方法 的 原型 。 几 个 
批评 家 将 这 种 理性 主义 偏见 评价 为 人 工 智能 在 解决 复杂 任务 时 的 部 分 失误 ,例如 对 人 类 语言 
理解 (Searle 1980 ，Winograd and Flores 1986 ，Brooks 1991a)。 

经 验 主义 者 不 认为 真实 世界 可 以 清晰 明确 地 描述 ， 而 是 不 断 提醒 我 们 “所 有 东西 都 是 通过 
感官 进入 大 脑 的 ”"。 这 一 约束 导致 了 后 来 的 问题 ， 即 人 类 如 何 能 够 认识 一 般 性 的 概念 或 者 柏拉图 
洞穴 的 纯粹 形式 (Plato 1961)。 亚 里 士 多 德 是 早期 的 一 个 经 验 主义 者 ， 在 他 的 《 论 灵 魂 》 中 ， 
强调 了 人 类 感知 系统 的 局 限 。 更 多 现代 的 经 验 主义 者 强调 ， 知 识 必须 通过 内 省 而 非 实验 心理 学 
来 解释 ， 特 别 是 堆 布 斯 (Hobbes) 、 洛 克 (Locke) 和 休 姆 (Hume)。 他 们 区 分 了 两 类 精神 现象 ， 
一 方面 是 感知 ， 另 一 方面 是 思考 、 记 忆 和 想象 。 例 如 ， 苏 格 兰 哲学 家 戴 维 . 休 姆 区 分 了 印象 和 思 
想 。 印 象 是 真实 的 、 棚 棚 如 生 的 ， 反 映 了 外 部 物体 的 真实 存在 ， 并 不 依赖 于 主观 控制 〈 参 考 Dennett 
(2005) 的 感受 性 ) 。 而 另 一 方面 思想 是 缺乏 生动 和 细节 的 ， 更 加 依赖 于 主体 的 主观 控制 。 

印象 和 思想 存在 不 同 ， 那 么 知识 如 何 产生 呢 ? 霍 布 斯 、 洛 克 和 体 姆 认为 基本 的 解释 机 制 是 联 
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想 。 特 殊 的 知觉 属性 通过 重复 的 经 验 而 联想 到 一 起 ， 这 种 重复 联想 在 头脑 中 创造 了 一 种 关联 对 
应 思想 的 倾向 ， 这 一 描述 的 基本 特点 用 休 姆 的 怀疑 论 进行 了 表述 。 休 姆 声称 ， 他 对 思想 产生 根源 
的 纯 描述 性 的 说 明 无 法 支持 起 因 信任 。 甚 至 在 这 种 基本 的 经 验 主 义 者 认识 论 中 都 不 能 理性 地 支 
持 逻 辑 和 归纳 的 使 用 。 

在 《人 类 理解 研究 》(1748) 中 ， 休 姆 的 怀疑 论 扩展 到 了 对 神 迹 的 分 析 。 虽 然 休 姆 没有 直接 
提 到 神 迹 的 本 来 面目 ， 但 是 他 质疑 了 神 迹 中 基于 证 词 的 证 据 。 这 种 怀疑 论 当然 被 圣经 的 信徒 和 
其 他 宗教 学 派 的 传播 者 视 作 直接 威胁 。 尊 敬 的 托马斯 . 贝 叶 斯 (Thomas Bayes) 既是 一 位 数学 家 
也 是 一 位 牧师 。 他 的 一 篇 文章 从 数学 上 提 到 了 休 姆 的 问题 ， 这 入 文章 是 Essay towards Solving a 
Problem in the Doctrine of Chances (1763 ) 。 贝 叶 斯 定理 形式 地 证 明了 如 何 通过 学 习 动作 效果 的 相 
互 关 系 来 确定 它们 发 生 的 概率 。 

知识 的 联想 说 在 人 工 智能 表示 的 结构 和 程序 发 展 中 起 了 很 大 作用 ， 例 如 使 用 语义 网 的 记忆 
组 织 、MOPS 和 自然 语言 理解 方面 的 研究 ( 见 7.0 节 、7.1 节 和 第 15 章 ) 。 联 想 说 对 机 器 学 习 也 
有 重要 影响 ， 特 别 是 连接 网 络 ( 见 10.6 节 、10.7 节 和 第 11 章 )。 联 想 主 义 在 认 知 心理 学 方面 也 
起 了 很 大 作用 ， 包 括 巴 特 利 特 (Bartlett) 和 皮 亚 杰 (Piaget) 的 表示 模式 以 及 行为 主义 学 派 的 所 
有 延伸 (Luger 1994)。 最 后 ， 由 于 使 用 了 随机 分 析 的 人 工 智 能 工具 ， 包 括 贝 叶 斯 信念 网 络 
(BBN) 及 其 对 随机 模型 一 阶 图 灵 完 全 系统 的 扩展 ， 联 想 理论 具有 坚实 的 数学 基础 和 成 熟 的 表达 
能 力 。 贝 叶 斯 工具 对 诊断 学 、 机 器 学 习 和 自然 语言 理解 都 非常 重要 ( 见 第 5 章 和 第 13 章 ) 。 

德国 哲学 家 伊 曼 纽 尔 ' 康德 〈Immanuel Kant) ， 受 到 理性 主义 学 派 的 训练 ， 被 休 姆 的 著作 深 
深 地 影响 。 结 果 ， 他 开始 对 这 两 种 学 派 进行 综合 。 康 德 认为 知识 包含 两 个 协作 的 活力 ， 一 个 是 来 
自主 体 原因 的 先 验 成 分 ， 另 一 个 是 来 自主 动 经 验 的 后 验 成 分 。 只 有 通过 主体 的 作用 ， 经 验 才 有 意 
义 。 没 有 主体 计划 的 主动 组 织 ， 世 界 将 仅仅 是 流逝 的 短暂 的 感觉 。 最后， 在 决断 的 层次 上 ， 康 德 
声称 流逝 的 图 像 或 表示 是 被 主动 的 主体 绑 定 在 一 起 的 ， 并 作为 同一 “物体 ”的 不 同 表现 。 康 德 
的 现实 主义 成 为 了 现代 心理 学 家 的 研究 工作 ， 如 巴特 利 特 、 布 鲁 纳 (Bruner) 和 皮 亚 杰 。 康 德 的 
工作 影响 了 现代 人 工 智 能 机 器 学 习 (第 四 部 分 ) 的 研究 以 及 构建 主义 认识 论 ( 见 第 16 章 ) 的 持 
续 发 展 。 


1.1.3 形式 逻辑 的 发 展 


一 旦 把 思考 看 成 是 一 种 计算 形式 ， 那 么 下 一 步 显 然 就 是 考虑 它 的 形式 甚至 是 机 制 了 。 在 
1.1. 1 节 中 提 到 ， 戈 特 弗 里 德 - 威廉 . 汉 ' 芋 布 尼 兹 在 他 的 《 微 积分 哲学 论 》 中 介绍 了 第 一 个 形 
式 逻 辑 系统 并 建立 了 自动 计算 机 唤 (Leibniz 1887)。 这 一 机 械 性 解答 的 工作 步骤 和 流程 能 够 表示 
为 树 或 图 上 的 状态 的 移动 。 莱 昂 哈 德 . 欧 拉 在 18 世纪 通过 分 析 连 接 哥 尼斯 堡 城 岛 屿 和 河岸 桥梁 
的 “连通 性 ”( 见 第 3 章 的 “简介 ”部 分 ) 介绍 了 他 对 表示 问题 的 研究 ， 妈 如 何 抽象 地 获取 客观 
世界 的 关系 结构 以 及 这 些 关 系 结构 中 计算 的 离散 步骤 (Euler 1735)。 

图 论 的 产生 也 为 状态 空间 搜索 (state space search) 这 种 人 工 智能 的 重要 概念 工具 提供 了 解 
决 问题 的 可 能 性 。 有 了 这 一 理论 ， 我们 就 可 以 使 用 图 来 对 问题 的 更 深层 结构 建 模 。 状 态 空 间 图 
(state space graph) 的 结 点 表示 问题 解 的 可 能 阶段 ; 图 中 的 弧 表 示 推 理 的 过 程 、 博 弈 中 的 移动 或 
者 问题 解 中 的 其 他 步骤 。 于 是 ,求解 问题 就 是 搜索 状态 空间 图 以 寻找 解 路 径 的 过 程 ( 见 第 二 部 
分 第 3 章 )。 状 态 空间 图 通过 描述 问题 解 的 整个 空间 ， 提 供 了 一 个 强大 的 工具 来 衡量 问题 的 结构 
和 复 厅 度 并 分 析 解 策略 的 高 效 人 性 、 正 确 性 和 通用 性 。 

查尔斯 . 巴 贝 奇 (Charles Babbage) 是 19 世纪 的 数学 家 ， 他 是 运筹 学 的 创始 人 之 一 ， 也 是 
第 一 台 可 编程 机 械 计算 机 器 的 设计 者 ， 同 时 还 可 以 把 他 看 成 是 人 工 智能 的 早期 实践 者 (Morrison 
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and Morrison 1961 ) 。 巴 贝 奇 的 差分 机 是 一 种 专门 用 来 计算 特定 多 项 式 函 数值 的 机 器 ， 也 是 其 分 析 
机 的 先驱 。 分 析 机 〈 由 巴 贝 奇 设计 ， 但 在 他 的 有 生 之 年 没有 被 成 功 制造 出 来 ) 是 一 种 通用 的 可 
编程 计算 机 器 ， 它 预言 了 现代 计算 机 的 很 多 结构 。 

巴 贝 奇 的 朋友 、 支 持 者 和 合作 者 阿达 洛 夫 莱 斯 (Ada Lovelace 1961) 在 描述 分 析 机 时 说 : 


我 们 可 以 毫 不 过 分 地 说 ， 分 析 机 所 编织 的 代数 图 案 就 像 杰 卡 德 〈Jacquard) 的 织 机 所 编织 的 
鲜花 和 绿叶 一 样 。 在 我 们 看 来 ， 这 里 蕴涵 了 比 差分 机 多 得 多 的 创造 性 。 


巴 贝 奇 的 动机 是 想 应 用 当时 的 科技 把 人 们 从 繁重 的 数学 计算 中 解放 出 来 。 在 这 种 热情 鼓舞 
下 ， 和 凭借 着 他 从 机 械 设 备 角度 建立 的 计算 机 观念 ， 巴 贝 奇 完 全 以 19 世纪 的 术语 构思 着 计算 机 器 
的 蓝图 。 但 是 ， 他 的 分 析 机 也 包含 了 很 多 现代 思想 ， 比 如 存储 器 和 处 理 器 的 分 离 〈 巴 贝 奇 分 别 
将 它们 称 为 仓 产 〈store) 和 工厂 〈mil) ) ， 数 字 机 器 而 不 是 模拟 机 器 的 概念 ， 以 及 基于 执行 一 系 
列 编码 在 穿孔 卡片 上 的 操作 的 可 编程 能 力 。 阿 达 ' 洛 夫 莱 斯 的 描述 以 及 巴 贝 奇 的 研究 的 最 惊人 
特征 是 它们 把 代数 关系 “模式 ”看 成 是 可 以 被 研究 、 刻 画 并 最 终 实 现 的 实体 ， 而 且 可 以 在 不 关 
心 特定 值 的 情况 下 机 械 地 操作 这 些 实体 ， 具 体 值 最 终 可 以 通过 计算 机 器 的 “工厂 ”传人 。 这 实 
现 了 最 初 由 亚 里 士 多 德 和 莱 布 尼 兹 描述 的 “形式 的 抽象 和 操纵 ”。 

创建 思考 的 形式 语言 这 一 目标 也 出 现在 乔治 布尔 ( George Boole) 的 著作 中 ， 他 是 另 一 位 
19 世纪 的 数学 家 ， 要 讨论 人 工 智 能 的 根源 不 能 不 提 到 他 的 研究 〈Boole 1847，1854) 。 虽 然 他 对 
很 多 数学 领域 都 做 出 了 贡献 ， 但 是 他 最 著名 的 研究 是 对 逻辑 定律 的 数学 形式 化 ， 这 一 成 就 形成 
了 现代 计算 机 科学 的 核心 。 虽 然 布尔 代数 在 逻辑 电路 的 设计 中 非常 著名 ， 但 是 布尔 自己 的 目标 
是 开发 一 个 系统 ， 这 个 系统 似乎 更 接近 于 现代 AI 学 者 的 研究 方向 。 在 《思维 规律 的 研究 》( 逻 
辑 和 概率 数学 理论 是 在 此 基础 上 研究 的 ) 的 第 1 章 ，Boole (1854) 把 他 的 目标 描述 为 : 


为 了 研究 关于 人 类 推理 的 思维 运动 的 基本 定律 : 用 微 积分 符号 语言 来 表示 它们 ， 并 在 这 个 基 
础 上 建立 逻辑 科学 和 指导 它 的 方法 ; …… 最 终 目 的 是 从 这 些 科学 研究 过 程 中 看 到 的 各 种 不 同 要 素 
里 搜集 到 一 些 和 人 类 思维 的 本 质 与 构造 有 关 的 一 些 可 能 线索 。 


布尔 成 就 的 重要 性 在 于 他 所 设计 的 系统 具有 非常 的 能 力 和 简洁 性 ; 逻辑 计算 的 核心 只 包含 3 
种 运算 ， 即 “与 ”表示 为 * 或 人 A)、“ 或 ”( 表 示 为 + 或 V) 和 “ 非 ”( 表 示 为 4 ), X*X=X 
(也 就 是 ， 一旦 已 经 知道 某 件 事 为 真 ， 那么 重复 不 能 增 大 这 一 信息 )。 这 样 便 把 布尔 值 限 制 到 满 
足 这 一 等 式 的 仅 有 的 两 个 数字 : 1 和 0。 布尔 乘法 (与 ) 和 加 法 (或) 的 标准 定义 就 是 依据 这 一 
定律 给 出 的 。 

布尔 系统 不 仅 为 二 进 制 算术 运算 提供 了 基础 ， 而 且说 明了 非常 简单 的 形式 系统 也 具有 逻辑 
的 全 部 能 力 。 这 个 假定 以 及 布尔 为 了 说 明 它 而 开发 的 系统 奠定 了 所 有 现代 形式 化 逻辑 研究 的 基 
础 ， 从 罗素 和 怀 海德 的 《数学 原理 》 (Whitehead and Russell 195S0) ， 到 图 灵 和 哥 德 尔 的 研究 ， 也 
包括 现代 的 自动 推理 系统 。 

戈 特 洛 布 ， 弗 雷 格 (Gottlob Frege) 在 他 的 《算术 基础 》 (Frege 1879，1884) 中 创建 了 一 种 
数学 说 明 语言 ， 目 的 是 以 一 种 明了 而 且 精 确 的 方式 描述 算术 的 基本 概念 。 利 用 这 种 语言 ， 弗 雷 格 
形式 化 了 亚 里 士 多 德 在 其 《逻辑 学 》 中 最 先 提 出 的 很 多 问题 。 今 天 人 们 把 弗 雷 格 的 语言 称 为 一 
阶 谓词 演算 ， 它 不 仅 提供 了 一 种 工具 来 描述 命题 和 真 值 指派 这 样 的 数学 推理 要 素 ， 而 且 为 这 些 
表达 式 的 “意义 ”建立 了 公理 基础 。 谓 词 演算 形式 系统 (包括 谓词 符号 、 函 数理 论 和 变量 ) 的 
自 的 是 成 为 一 种 描述 数学 及 其 哲学 基础 的 语言 ， 但 是 它 在 创建 人 工 智 能 的 表示 理论 中 也 起 到 了 
非常 重要 的 作用 ( 见 第 2 章 ) 。 一 阶 谓词 演算 为 自动 推理 提供 了 必要 工具 : 为 建立 表达 式 提供 了 
语言 ; 为 表达 式 的 意义 提供 了 理论 依据 ; 为 推断 新 的 真 表达 式 提供 了 逻辑 合理 的 演算 规则 。 
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罗素 和 怀 海德 的 著作 (Russell and Whitehead 1950) 对 奠定 AI 的 基础 起 到 了 非常 重要 的 作 
用 ， 因 为 他 们 预定 的 目标 是 通过 对 一 系列 公理 的 形式 运算 导出 数学 的 全 部 内 容 。 尽 管 已 经 从 基 
本 定理 建立 起 了 很 多 数学 系统 ， 但 不 同 的 是 罗素 和 人 怀 海德 从 纯 形式 系统 的 角度 来 研究 。 这 意味 
着 公理 和 定理 会 完全 被 当成 字符 串 ， 证 明 的 过 程 就 是 应 用 完善 定义 的 规则 来 操纵 这 些 字 符 串 。 
这 样 证 明 的 基础 就 不 再 依赖 于 直觉 或 定理 的 意义 。 证 明 的 所 有 步骤 都 是 严格 地 把 形式 〈 语 法 ) 
规则 应 用 到 公理 或 者 以 前 证 明 的 定理 ， 即 使 对 于 那些 被 当成 是 “显而易见 ”步骤 的 传统 证 明 也 
是 如 此 。 系 统 的 定理 和 公理 对 世界 的 含义 独立 于 它们 的 逻辑 推导 过 程 。 这 种 纯粹 从 形式 角度 
(因而 也 就 可 以 从 机 械 角 度 ) 处 理 数 学 推理 的 方法 为 数学 推理 在 物理 计算 机 上 的 自动 化 商定 了 关 
键 基 础 。 罗 素 和 怀 海德 开发 的 逻辑 语法 和 形式 推理 规则 至 今 仍 然 是 自动 定理 证 明 系 统 (在 第 14 
章 介绍 ) 的 基础 ， 同 时 也 是 人 工 智能 的 理论 基础 。 

艾 尔 弗 雷 德 . 塔 斯 基 (Alfred Tarski) 是 另 一 位 为 人 工 智 能 奠定 关键 基础 的 数学 家 。 塔 斯 基 
创立 了 指称 理论 (theory of reference) ， 可 以 说 该 理论 使 用 了 弗 雷 格 或 罗素 和 怀 海 德 的 合式 公式 
(well-formed formulae) ， 以 精确 的 方式 指称 物理 世界 (Tarski 1944 ，1956; 见 第 2 章 ) 。 这 一 成 果 
成 为 大 多 数 形式 语义 理论 的 基础 。 在 他 的 论文 “The Semantic Concept of Truth and the Foundation of 
Semantics”( 真 理 的 语义 概念 和 语义 基础 ) 中 ， 塔 斯 基 描 述 了 他 的 指称 理论 和 真 值 关系 。 一 些 现 
代 计 算 机 科学 家 ， 尤 其 是 Scott、Strachey 、Burstall (Burstall and Darlington 1977) 以 及 Plotkin, 已 
经 把 这 一 理论 和 程序 设计 语言 以 及 计算 的 其 他 规范 联系 起 来 。 

虽然 在 18 、19 以 及 20 世纪 的 初期 ， 科 学 和 数学 的 形式 化 就 为 人 工 智能 的 研究 创造 了 智能 方 
面 的 必 备 条 件 ， 但 是 直到 20 址 纪 数 字 计 算 机 被 引入 时 AI 才 成 为 一 门 充满 活力 的 科学 学 科 。 在 20 
世纪 40 年 代 末 期 ， 电 子 数字 计算 机 显示 出 了 智能 程序 所 需 的 存储 和 处 理 能 力 ， 在 计算 机 上 实现 
形式 推理 系统 并 通过 试验 测试 它们 是 否 足以 显示 出 智能 成 为 了 可 能 。 人 工 智能 科学 的 一 个 关键 
特征 就 是 选择 数字 计算 机 作为 创建 和 检验 智能 理论 的 工具 。 

数字 计算 机 不 仅 是 一 个 检验 智能 理论 的 工具 ， 计 算 机 的 体系 结构 还 为 智能 理论 提出 了 一 种 
特殊 的 模式 : 智能 是 信息 处 理 的 一 种 形式 。 例 如 ， 把 搜索 作为 求解 问题 方法 的 概念 应 更 多 地 归功 
于 计算 机 操作 的 序列 化 特征 ， 而 不 是 任何 生物 智能 模型 。 大 多 数 AI 程序 用 某 种 形式 语言 来 表示 
知识 ， 然 后 再 用 算法 来 操纵 这 些 表 示 ， 这 种 数据 和 程序 的 分 离 是 冯 : 诺 依 曼 (von Neumann) 计 
算 方式 的 基础 。 形 式 逻 辑 已 经 逐渐 成 为 AI 研究 的 一 种 重要 表示 工具 ， 就 像 图 论 在 问题 空间 分 析 
中 所 起 的 不 可 缺少 的 作用 以 及 为 语义 网 和 相似 语义 表示 模型 提供 了 基础 一 样 。 本 书 的 正文 部 分 
详细 讨论 了 这 些 技术 和 形式 ， 我 们 在 这 里 提 到 这 些 内 容 只 是 为 了 强调 数字 计算 机 与 人 工 智 能 的 
理论 基础 间 的 共生 关系 。 

我 们 经 常 忘记 :; 我 们 为 自己 设计 的 工具 往往 会 以 它们 的 结构 和 局 限 影响 我 们 关于 世界 的 概 
念 。 虽 然 这 有 明显 的 局 限 性 ， 但 是 这 种 相互 作用 也 是 人 类 知识 发 展 的 一 个 关键 因素 : 为 了 求解 某 
个 问题 ， 人 们 就 会 开发 一 种 工具 (科学 理论 最 终 都 只 是 工具 ) ， 随 着 应 用 和 改进 这 种 工具 ， 人 们 
会 从 工具 本 身 想到 其 他 的 应 用 ， 这 便 产生 了 新 的 问题 ， 而 且 最 终 会 导致 新 工具 的 开发 。 


1.1.4 图 灵 测 试 


最 早 一 篇 专门 论述 机 器 智能 与 现代 数字 计算 机 关系 问题 的 论文 是 由 英国 数学 家 艾 伦 . 图 灵 
于 1950 年 发 表 的 。《 计 算 机 器 和 智能 》 (Turing 1950) 这 篇 文章 至 今 仍 值得 一 读 ， 无 论 是 它 对 制 
造 智能 计算 机 器 可 能 性 争论 的 评价 ， 还 是 它 对 这 些 争论 的 回答 ， 都 有 着 现实 的 意义 。 图 灵 一 一 主 
要 因为 他 对 可 计算 性 理论 所 作出 的 贡献 而 著名 一 一 苦 苦 考虑 着 是 否 能 够 制造 出 真正 可 以 思考 的 
机 器 。 考 虑 到 这 个 问题 本 身 存 在 的 严重 模糊 性 (什么 是 思考 ? 什么 是 机 器 ?) 阻碍 了 理性 的 思 
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考 ， 于 是 他 提出 用 一 个 定义 更 明确 的 实验 测试 来 描述 这 一 智能 问题 。 

图 灵 测 试用 人 类 的 表现 来 衡量 假设 的 智能 机 器 的 表现 ， 这 无 疑 是 评价 智能 行为 的 最 好 的 且 
惟一 的 标准 。 这 个 被 图 灵 称 为 模仿 游戏 的 测试 是 这 样 进行 的 : 将 一 个 人 与 一 台 机 器 分 别 置 于 一 
个 房间 中 ， 而 另 一 个 称 为 询问 者 的 人 与 它 
们 分 隔 (如 图 1-1 所 示 ) 。 询 问 者 看 不 到 屋 
中 任意 一 方 ， 也 不 能 直接 与 他 们 说 话 ， 因 
此 他 不 知道 到 底 哪 一 个 房间 内 的 是 机 器 ， 
只 可 以 通过 一 个 类 似 终端 的 文本 设备 与 他 
们 联系 。 然 后 让 询问 者 仅 根 据 收 到 的 答案 
辨别 出 哪个 是 计算 机 ， 哪 个 是 人 。 如 果 询 
问 者 不 能 区 别 出 机 器 和 人 ， 那 么 根据 图 灵 
的 理论 ， 就 可 以 认为 这 个 机 器 是 智能 的 。 

把 询问 者 与 机 器 和 另 一 个 人 类 参与 者 
分 开 ， 这样 做 可 以 使 图 灵 测 试 的 询问 者 不 图 1-1 图 灵 测 斌 
会 因为 机 器 的 外 观 或 者 机 器 声音 的 机 械 特 性 而 产生 偏见 。 不 过 ， 询 问 者 可 以 自由 询问 任何 问题 ， 
不 管 如 何 拐弯 抹 角 ， 目 的 是 尽力 揭示 计算 机 的 特性 和 身份 。 比 如 ， 询 间 者 可 以 给 他 们 出 一 道 十 分 
复杂 的 算术 计算 ， 并 假定 计算 机 比 人 更 可 能 计算 出 正确 结果 ; 与 这 条 战略 相反 ， 计 算 机 要 知道 它 
什么 时 候 算 不 出 正确 答案 ， 以 使 它 看 上 去 更 像 人 。 为 了 根据 感情 特征 来 识别 出 人 类 的 身份 ， 询 问 
者 可 以 向 双方 询问 他 们 对 于 一 首 诗 或 是 一 件 艺术 品 的 反应 ; 这 一 策略 要 求 计算 机 具有 人 类 情感 
特性 方面 的 知识 。 

图 灵 测 试 的 重要 特征 有 

1) 它 给 出 了 一 个 客观 的 智能 概念 ， 也 就 是 根据 对 一 系列 特定 问题 的 反应 来 确定 是 否 是 智能 
体 的 行为 。 这 为 判断 智能 提供 了 一 个 标准 ， 从 而 避免 了 有 关 智 能 “真正 ”特征 的 经 常 性 争论 。 

2) 这 项 实验 使 我 们 免 于 受到 诸如 以 下 目前 无 法 回答 的 问题 的 牵制 : 计算 机 使 用 的 内 部 处 理 
方法 是 否 恰当 或 者 机 器 是 否 真 的 意识 到 其 动作 。 

3) 通过 使 询问 者 只 关注 问题 回答 的 内 容 消除 了 有 关 他 所 具有 的 生命 体 方面 的 偏好 。 

由 于 有 这 些 优点 ， 图 灵 测 试 为 许多 实际 用 于 现代 AI 程序 评价 的 方案 提供 了 基础 。 如 果 一 个 
程序 已 经 有 可 能 在 某 个 专业 领域 实现 了 智能 ， 那 么 可 以 通过 把 它 对 一 系列 给 定 问 题 的 反应 与 人 
类 专家 的 反应 相 比较 来 对 其 进行 评估 。 这 种 评估 技术 仅 是 图 灵 测 试 的 一 个 变 体 : 请 一 些 人 对 计 
算 机 和 人 类 专家 对 一 组 特定 问题 的 反应 结果 作出 封闭 式 的 比较 。 正 如 我 们 所 看 到 的 ， 这 种 方法 
已 经 成 为 现代 专家 系统 开发 和 验证 的 关键 工具 。 

尽管 图 灵 测 试 具 有 直观 上 的 吸引 力 ， 图 灵 测 试 还 是 受到 了 很 多 无 可 非议 的 批评 。 其 中 一 个 
最 重要 的 质疑 是 它 偏向 于 纯粹 的 符号 问题 求解 任务 。 它 并 不 测试 感知 技能 或 要 实现 手工 灵活 性 
所 需 的 能 力 ， 而 这 些 都 是 人 类 智能 的 重要 组 成 部 分 。 另 一 方面 ， 有 人 提出 图 灵 测 试 没有 必要 把 机 
器 智能 强行 套 人 人 类 智能 的 模具 之 中 。 或 许 机 器 智能 就 是 不 同 于 人 类 智能 ， 试 图 按照 人 类 的 方 
式 来 评估 它 ， 可 能 根本 上 就 是 一 个 错误 。 我 们 真 的 希望 一 台 机 器 做 起 数学 题 来 像 人 一 样 又 慢 又 
不 准 吗 ?难道 不 应 该 让 智能 机 器 发 挥 它 自身 的 优点 〈 比 如 庞大 、 快 速 、 可 靠 的 存储 器 ) ， 而 宁愿 
去 让 它 模仿 人 类 的 认 知 特征 吗 ? 实际 上 ， 很 多 现代 AI 实践 者 〈 例 如 Ford and Hayes 1995) 对 图 
灵 测 试 提出 了 全 面 的 质疑 ， 认 为 图 灵 测试 是 一 个 错误 ， 分 散 了 我 们 的 注意 力 ， 妨 碍 了 目前 更 重要 
的 工作 : 研究 通用 的 理论 来 解释 人 类 智能 和 机 器 智能 的 机 制 ， 并 应 用 这 些 理论 来 开发 可 以 解决 
具体 实践 问题 的 工具 。 尽 管 我 们 大 体 上 同意 Ford 和 Hayes 的 忧虑 ， 但 是 仍然 认为 图 灵 测 试 是 检 
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测 和 证 实现 代 AI 软件 智能 性 的 一 个 重要 部 分 。 

图 灵 也 论述 了 在 数字 计算 机 上 建立 智能 程序 的 切实 可 行 性 。 他 根据 一 个 具体 的 计算 模型 
(电子 离散 状态 计算 机 器 ) 进行 思考 ， 对 以 下 方面 做 出 了 周密 的 推测 : 存储 容量 、 程 序 复杂 度 以 
及 这 类 系统 所 需 的 基本 设计 哲学 。 最 后 ， 他 从 实际 技术 的 角度 论述 了 建立 这 样 的 智能 程序 在 道 
德 、 哲 学 及 科学 方面 可 能 受到 的 很 多 反对 意见 。 推 荐 读者 自己 阅读 图 灵 的 文章 ， 以 领略 他 对 智能 
机 器 可 能 性 争论 的 透彻 切 题 的 概述 。 

图 灵 在 其 论文 中 提 到 的 两 个 反对 观点 也 值得 我 们 深刻 思考 。 第 一 个 是 阿达 . 洛 夫 莱 斯 最 先 
提出 的 洛 夫 菜 斯 伯 壮 夫人 的 异议 (Lady Lovelace's Objection) ， 该 观点 认为 计算 机 只 能 按照 它 被 告 
知 的 方式 去 做 而 不 能 完成 创造 性 的 (也 就 是 智能 的 ) 行为 。 图 灵 对 这 一 观点 的 反对 意见 已 经 成 
为 一 种 结论 ， 它 打消 了 人 们 对 当今 技术 神话 中 某 些 含糊 部 分 的 怀疑 。 专 家 系统 ( 见 第 1.2.3 节 和 
第 8 章 ) 已 经 得 到 了 其 设计 者 们 没有 预料 到 的 结论 ， 尤 其 是 在 诊断 推理 领域 。 实 际 上 ， 许 多 学 者 
认为 人 类 的 创造 力 是 可 以 用 计算 机 程序 来 表达 的 。 

男 一 个 相关 的 反对 观点 是 行为 的 非 形式 化 性 理论 ， 这 个 观点 断言 :不 可 能 创建 出 这 样 一 套 
规则 ， 它 可 以 准确 地 告诉 一 个 个 体 在 每 一 种 可 能 情况 下 要 做 什么 。 生 物 智 能 具有 灵活 性 ， 可 以 对 
几乎 无 限 范围 的 情况 做 出 最 佳 或 者 合理 的 反应 ， 毫 无 疑问 ， 这 种 灵活 性 是 智能 行为 的 一 个 重要 
特征 。 不 过 ， 虽 然 大 多 数 传统 计算 机 程序 使 用 的 控制 结构 并 没有 显示 出 强大 的 灵活 性 和 创造 性 ， 
但 是 这 并 不 是 说 所 有 的 程序 都 必须 按照 这 种 模式 来 编写 。 实 际 上 ， 在 过 去 25 年 的 AI 发 展 中 ， 人 
们 已 经 做 了 大 量 工作 来 开发 程序 设计 语言 和 模型 ， 比 如 产生 式 系统 、 基 于 对 象 系统 、 神 经 网 络 表 
示 以 及 本 书 讨论 的 试图 弥补 这 种 不 足 的 其 他 方法 。 

许多 现代 AI 程序 通常 由 一 系列 模块 化 的 组 件 或 者 行为 规则 构成 ， 它 们 不 是 按照 严格 顺序 执 
行 的 ， 而 是 根据 处 理 特定 问题 实例 的 需要 而 被 调用 。 模 式 匹配 允许 把 通用 规则 应 用 到 某 一 范围 
内 的 实例 ， 这 样 的 系统 具有 极 强 的 灵活 性 ， 相 当 小 的 程序 就 可 以 展示 出 很 广 范围 内 的 可 能 行为 ， 
可 以 对 不 同 的 问题 和 情况 作出 反应 。 

这 些 系 统 是 否 能 够 最 终 被 制造 出 来 ， 以 展示 出 生物 体 才 能 表现 出 的 那 种 灵活 性 至 今 仍然 是 
一 个 很 有 争议 的 课题 。 诺 贝尔 奖 获 得 者 赫 伯 特 : 西蒙 (Herber Simon) 认为 ， 生 物体 行为 所 显示 
的 创造 性 和 变化 性 大 多 应 该 归功 于 生物 体 所 处 环境 的 丰富 性 而 不 是 它们 自身 内 部 程序 的 复杂 性 。 
在 《人 工科 学 》(Simon 1981) 中 ,西蒙 描 述 了 一 只 蚂蚁 沿 着 崎 岷 而 又 混乱 的 道路 行走 。 尽 管 蚂 
蚊 走 过 的 路 径 看 上 去 非常 复杂 ， 但 是 西蒙 认为 蝎 蚁 的 目标 非常 简单 : 那 就 是 尽 可 能 快 地 返回 到 
它 的 群落 。 蚂 蚊 路 径 上 的 盘旋 和 转弯 是 由 它 在 路 上 遇 到 的 障碍 所 导致 的 。 西 蒙 这 样 总 结 道 : 


如 果 把 蚂蚁 看 成 是 一 个 行为 系统 ， 那 么 它 是 非常 简单 的 。 其 行为 的 表面 复杂 性 很 大 程度 上 是 
其 所 处 环境 复杂 性 的 反映 。 


如 果 这 种 思想 最 终 被 证 明 不 仅 适用 于 像 昆 虫 这 样 的 简单 生物 体 ， 还 适用 于 高 等 智能 生物 体 ， 
那么 它 就 有 力 地 证 明了 这 样 的 系统 是 相对 简单 并 且 易 于 理解 的 。 非 常 有 趣 的 是 ， 如 果 将 这 种 思 
想 应 用 于 人 类 ， 那 么 它 就 成 为 证 明文 化 对 智能 形成 具有 重要 性 的 一 个 强大 论据 。 智 能 并 不 是 像 
划 菇 那样 生长 在 黑暗 之 中 ， 它 似乎 离 不 开 与 所 处 的 丰富 环境 相互 作用 。 文 化 在 创造 人 类 方面 的 
重要 性 与 人 类 创造 文化 是 同等 重要 的 。 这 种 思想 并 不 是 要 贬低 我 们 的 智慧 ， 而 是 强调 了 为 什么 
从 彼此 分 隔 开 的 人 类 生活 中 产生 的 文化 具有 不 可 思议 的 丰富 性 和 一 致 性 。 实 际 上 ， 智 能 是 从 社 
会 个 体 元 素 间 的 相互 作用 中 产生 的 ， 这 一 思想 是 支持 下 一 节 将 要 介绍 的 AI 技术 的 论据 之 一 。 


1.1.5 智能 的 生物 和 社会 模型 : 主体 理论 
到 现在 为 止 ， 我 们 已 经 从 数学 角度 阐述 了 建立 智能 机 器 的 问题 ， 其 中 蕴涵 了 把 逻辑 推理 作 
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为 智能 本 身 范 例 的 观点 ， 并 带 有 对 逻辑 推理 “客观 ”基础 的 肯定 。 这 种 看 竺 知识、 语言 和 思想 
的 方式 反映 了 西方 哲学 的 理性 传统 ， 这 种 传统 是 从 柏拉图 、 伽 利 略 、 笛 卡 儿 、 药 布 尼 效 以 及 本 章 
前 面 讨论 过 的 其 他 哲学 家 那里 演化 而 来 的 。 它 也 反映 了 图 灵 测 试 所 依赖 的 假定 ， 尤 其 是 图 灵 测 
试 对 符号 推理 在 智能 测试 中 地 位 的 强调 ， 以 及 与 人 类 行为 进行 直接 比较 就 足以 确认 机 器 智能 的 
思想 。 

这 种 把 逻辑 作为 表示 知识 方式 的 依赖 性 ， 以 及 把 逻辑 推理 作为 智能 推理 首要 机 制 的 依赖 性 ， 
在 西方 哲学 中 占有 统治 地 位 ， 以 至 于 它们 的 “正确 性 ”经 常 是 显而易见 和 不 容 置 疑 的 。 因 此 也 
就 不 奇怪 为 什么 基于 这 些 假定 的 方法 自始至终 一 直 统 治 着 人 工 智能 科学 。 

不 过 ， 在 20 世纪 的 后 半 段 已 经 出 现 了 很 多 对 理性 哲学 的 挑战 。 各 种 形式 的 哲学 相对 论 对 语 
言 、 科 学 、 社 会 和 思想 本 身 的 客观 基础 提出 了 质疑 。 路 德 维 格 . 维特 根 斯 坦 (Ludwig wittgen- 
stein) 的 后 期 哲学 (Wittgenstein 1953) 已 经 迫使 我 们 重新 考虑 自然 语言 和 形式 语言 的 语义 基础 。 
哥 德 尔 (Nagel and Newman 1958) 和 图 灵 的 著作 已 经 对 数学 基础 本 身 产生 怀疑 。 后 现代 思想 已 经 
改变 了 我 们 对 艺术 和 社会 的 价值 及 意义 的 理解 。 人 工 智能 一 直 以 来 都 屡 受 非议 ; 事实 上 ，AI 在 
实现 其 目标 的 过 程 中 所 碰 到 的 困难 经 常 被 用 于 说 明理 性 观点 失败 的 证 据 (Winograd and Flores 
1986, Lakoff and Johnson 1999, Dennett 2005 ) 。 

两 种 传统 哲学 ， 即 维特 根 斯 坦 (Wittgenstein 1953) 以 及 胡 塞 尔 (Husserl 1970，1972) 和 海 
德 格 尔 (Heidegger 1962) 的 哲学 思想 ， 对 重新 评估 西方 传统 哲学 起 到 了 核心 作用 。 在 维特 根 斯 
坦 的 后 期 著作 中 ， 对 理性 传统 假定 〈 包 括 语 言 、 科 学 和 知识 本 身 的 基础 ) 提出 了 很 多 质疑 。 自 
然 语 言 是 维特 根 斯 坦 分 析 的 一 个 焦点 : 他 对 人 类 语言 的 语义 来 源 于 某 种 客观 基础 的 思想 提出 了 
挑战 。 

对 于 维特 根 斯 坦 以 及 奥斯汀 (Austin 1962) 及 其 追随 者 格 赖 斯 和 瑟 尔 〈Grice 1975 ，Searle 
1969) 创立 的 言语 行为 理论 来 说 ， 任 何 语言 的 含义 都 依赖 于 它 所 处 的 人 文 和 文化 背景 。 举 例 来 
说 ， 我 们 对 “椅子 ”这 个 词 含义 的 理解 依赖 于 它 具 有 一 种 与 坐姿 一 致 的 物理 结构 以 及 人 类 使 用 
椅子 的 文化 习惯 。 例 如 ， 大 且 平 坦 的 石头 何 时 是 椅子 ? 为 什么 把 国王 的 宝座 称 为 椅子 听 起 来 很 奇 
怪 ? 人 类 对 椅子 的 理解 与 对 猫 或 狗 的 理解 有 什么 不 同 ， 是 因为 从 人 类 的 角度 考虑 不 能 坐 在 猎狗 
身上 吗 ? 维特 根 斯 坦 基 于 他 对 语义 基础 的 择 击 ， 认 为 我 们 应 该 在 一 个 和 运动 的 文化 背景 下 根据 具 
体 的 选择 和 行为 来 观察 语言 的 用 法 。 维 特 根 斯 坦 甚 至 把 他 的 批评 延伸 到 科学 领域 和 数学 领域 ， 
认为 从 社会 概念 来 看 它们 和 语言 使 用 相差 不 多 。 

胡 塞 尔 (Husserl 1970，1972) 一 一 现象 学 之 父 ， 坚 信和 抽象 应 该 源 于 具体 的 生活 世界 : 理性 
模型 相对 于 支撑 它 的 具体 世界 来 说 完全 是 第 二 位 的 。 胡 塞 尔 和 他 的 学 生 海德 格 尔 (Heidegger 
1962) 以 及 他 们 的 支持 者 Merleau - Ponty (1962) 认为 ,智能 不 是 知道 什么 是 正确 的 ， 而 是 知道 
如 何 应 对 不 断 变 化 和 发 展 的 世界 ， 人 徊 达 默 尔 (Gadamer 1976) 对 这 一 学 派 也 有 贡献 。 因 此， 对 于 
存在 主义 者 /现象 学 家 来 说 ， 智 能 被 看 成 是 在 世界 中 的 生存 能 力 ， 而 不 是 关于 世界 的 一 系列 逻辑 
命题 〈 结 合 了 某 一 种 推理 模式 ) 。 

很 多 学 者 ， 例 如 德 菜 弗 斯 (Dreyfus 1985) 以 及 威 诺 格拉 德 和 弗 洛 里 斯 〈Winograd and Flores 
1986) ， 他 们 在 对 AI 的 批评 中 吸收 了 维特 根 斯 坦 以 及 胡 塞 尔 / 海 德 格 尔 的 思想 。 虽 然 许 多 AI 实践 
者 还 在 继续 发 展 和 完善 理性 /逻辑 方法 ， 又 被 称 为 优秀 的 老式 人 工 智 能 〈Good Old Fashioned ATI， 
GOFAI) ， 但 是 已 经 有 越 来 越 多 的 学 者 参与 到 这 些 批评 之 中 ， 以 探索 新 的 智能 模型 。 在 符合 维特 
根 斯 坦 强 调 知识 的 人 文 根 源 的 基础 上 ， 他 们 已 经 转向 智能 行为 的 社会 模型 (有 时 称 为 基于 主体 
或 情景 的 模型 ) 以 寻找 灵感 。 

作为 与 基于 逻辑 的 方法 相对 的 一 个 实例 ， 连 接 学 习 中 的 研究 〈 见 1.2.9 节 和 第 11 章 ) 不 再 
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强调 逻辑 ， 以 及 理性 思维 的 功能 ， 并 努力 通过 对 人 类 大 脑 体 系 结构 建 模 来 实现 智能 。 智 能 的 神经 
模型 强调 大 脑 通过 调整 神经 元 个 体 间 的 关系 来 适应 其 所 处 世界 的 能 力 。 而 且 不 再 用 显 式 的 逻辑 
语句 来 表示 知识 ,而 是 用 关系 模式 的 属性 隐 性 地 获取 知识 。 

另 一 种 基于 生物 的 智能 模型 是 从 整个 生物 群体 适应 其 周围 环境 的 过 程 汲取 灵感 的 。 人 工 生 
命 和 遗传 算法 的 研究 ( 见 第 12 章 ) 应 用 生物 进化 原理 来 寻找 某 些 困难 问题 的 解 。 这 些 程序 并 不 
通过 逻辑 推理 来 求解 问题 ， 而 是 产生 出 大 量 候选 解 ， 组 成 一 个 竞争 群体 ， 并 模仿 生物 进化 的 模式 
使 它们 不 断 进化 为 更 好 的 解 ， 同 时 很 差 的 候选 解 往 往 会 逐渐 消失 ， 那 些 有 希望 解决 问题 的 解 会 
生存 下 来 ， 将 它们 的 成 功 父辈 组 合 起 来 再 生 新 解 。 

社会 系统 阐释 了 智能 的 又 一 内 涵 : 全 局 行为 可 以 求解 任何 个 体 无 法 解决 的 问题 。 举 例 来 说 ， 
虽然 没有 哪个 人 可 以 准确 地 预测 出 纽约 这 座 城市 某 一 天 要 吃 掉 多 少 块 面包 , 但 是 由 纽约 面包 店 
组 成 的 整个 系统 出 色 地 完成 了 保证 这 座 城市 的 面包 供应 的 任务 ， 而 且 使 浪费 量 最 少 。 股 票 市 场 
很 好 地 做 了 一 件 工 作 : 设 定数 千家 公司 的 相对 值 ， 而 每 个 投资 个 体 仅 知道 几 家 公司 的 有 限 信息 。 
最 后 一 个 例子 来 自 现代 科学 。 处 于 大 学 、 工 厂 或 政府 等 不 同 环 境 中 的 个 体 关注 一 些 普遍 问题 。 通 
过 以 会 议 或 杂志 作为 主要 的 通信 媒介 ， 这 些 半 独立 工作 的 个 体 解决 了 许多 对 全 社会 都 很 重要 的 
问题 (尽管 很 多 情况 下 取得 的 进步 也 是 由 一 些 基金 组 织 来 推动 的 ) 。 

这 些 例子 都 有 两 个 特征 : 第 一 ， 认 为 智能 来 源 于 文化 和 社会 ， 因 此 是 自然 发 生 的 。 第 二 ， 智 
能 是 由 大 量 非常 简单 、 相 互 影响 的 半自动 个 体 组 成 的 集体 行为 来 反映 的 ， 这 些 个 体 被 称 为 主体 。 
不 论 我 们 把 主体 看 成 什么 : 神经 细胞 、 物 种 的 单个 成 员 或 者 社会 中 的 单个 人 ， 智 能 都 是 通过 主体 
的 相互 作用 产生 的 。 

关于 智能 的 面向 主体 和 自然 发 生 的 观点 包含 了 如 下 要 点 : 

1) 主体 是 自动 的 或 半自动 的 。 也 就 是 说 ,每 个 主体 在 问题 求解 中 具有 特定 的 职责 ， 它 对 其 
他 主体 在 做 什么 以 及 如 何 做 都 知之 甚 少 或 者 根本 就 不 知道 。 每 个 主体 处 理 它 自己 的 、 独 立 的 问 
题 片 段 ， 要 入 自己 产生 结果 (执行 某 动作 ) ， 要 么 把 结果 报告 给 团体 (通信 主体 ) 中 的 其 他 
主体 。 

2 主体 是 “基于 情景 的 "。 每 个 主体 只 对 其 自身 周围 的 环境 做 出 反应 ，( 通 常 ) 不 具有 任何 
关于 所 有 主体 组 成 的 整个 域 的 知识 。 因 此 ， 主 体 的 知识 只 限于 和 要 处 理 的 任务 有 关 的 信息 : “我 
在 处 理 的 文件 ”或 “靠近 我 的 墙壁 "， 没 有 关于 所 有 文件 或 问题 求解 任务 中 全 部 物理 约束 的 任何 
全 局 性 知识 。 

3) 各 个 主体 是 相互 影响 的 。 也 就 是 说 ， 它 们 组 成 了 一 个 集体 来 共同 完成 特定 的 任务 。 从 这 
个 意义 上 说 ， 可 以 把 它们 看 成 是 一 个 “社会 "， 而 且 和 人 类 社会 一 样 ， 当 把 它们 看 成 是 集体 时 ， 
知识 、 技 能 和 职责 可 以 分 布 到 每 个 个 体 上 。 

4) 构成 一 个 主体 社会 。 在 大 多 数 面向 主体 的 问题 求解 方法 中 ， 虽然 每 个 主体 具有 自己 的 独 
特 环境 和 技能 ， 但 是 在 整个 问题 求解 中 各 个 主体 是 相互 合作 的 。 因 此 ， 最 终 解 是 通过 组 合 和 合作 
得 到 的 。 

5) 最 后 ， 在 这 种 环境 中 智能 现象 是 “自然 发 生 的 "。 虽 然 单个 主体 具有 自己 的 一 组 技能 和 
职责 ， 但 是 主体 社会 总 的 合作 成 果 要 大 于 单个 个 体 贡献 的 总 和 。 智 能 是 存在 于 社会 并 从 社会 中 
浮现 出 来 的 一 种 现象 ， 而 不 是 单个 主体 的 属性 。 

基于 这 些 思 想 ， 我 们 把 主体 定义 为 可 以 感知 其 环境 特征 〈 经 常 仅仅 局 限于 此 ) 并 直接 或 遂 
过 与 其 他 主体 的 合作 来 影响 环境 的 群体 元 素 。 通 常 ， 求 解 一 个 智能 问题 需要 很 多 种 主体 。 包 括 仅 
获取 并 交流 信息 片段 的 机 械 主体 ; 支持 与 其 他 主体 交互 的 协调 主体 ; 可 以 分 析 多 种 信息 片段 并 
返回 选取 的 一 小 部 分 信息 的 搜索 主体 ; 可 以 分 析 一 系列 信息 并 形成 概念 或 进行 泛 化 的 学 习 主体 ; 
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以 及 既 可 以 分 配 任务 又 可 以 根据 有 限 的 信息 和 处 理 能 力 来 得 出 结论 的 决策 主体 。 如 果 回 到 一 个 
关于 智能 的 较 老 的 定义 ,那么 可 以 把 主体 看 成 是 一 种 支持 在 有 限 处 理 资 源 情况 下 做 出 决策 的 
机 制 。 

设计 和 建立 这 样 的 主体 社会 需要 的 主要 条 件 是 : 

1) 用 来 表示 信息 的 结构 。 

2) 用 来 搜索 备 选 解 的 策略 。 

3) 创建 可 以 支持 主体 交互 的 体系 结构 。 

本 书 的 后 续 章 节 ， 特 别 是 第 7.4 节 ， 介 绍 了 构建 这 种 主体 社会 的 支持 工具 和 方案 ， 以 及 许多 
基于 主体 的 问题 求解 的 例子 。 

以 上 对 自动 智能 理论 可 能 性 的 初步 讨论 决 不 是 企图 夸大 今天 已 取得 的 进步 ， 也 没有 竭力 缩 
小 我 们 面前 工作 的 难度 。 正 如 本 书 通 篇 所 强调 的 ,认识 到 我 们 的 不 足 并 诚实 地 看 待 我 们 的 成 功 
是 很 重要 的 。 举 例 来 说 ， 在 机 器 学 习 方 面 仅 取得 了 很 有 限 的 成 果 。 在 对 自然 语言 (比如 英语 ) 
的 语义 复杂 度 建 模 方面 我 们 的 成 就 也 非常 有 限 。 我 们 还 需要 更 深入 地 研究 一 些 非常 根本 的 问题 ， 
比如 组 织 知识 以 及 完全 管理 异常 庞大 的 计算 机 程序 (例如 庞大 的 知识 库 ) 的 复杂 度 和 正确 性 。 
基于 知识 的 系统 ， 尽 管 已 经 工程 化 并 进入 市 场 ， 但 是 在 推理 质量 和 通用 性 方面 还 存在 很 多 不 足 。 
包括 无 法 进行 常识 推理 ， 也 就 是 不 能 运用 初步 的 自然 知识 ， 比 如 事物 如 何 随时 间 变 化 。 

不 过 我 们 必须 保持 一 种 合理 的 态度 。 当 我 们 面 对 仍 然 要 做 的 工作 时 很 容易 忽略 已 经 取得 的 
成 就 。 在 下 一 节 ， 我 们 将 通过 综述 人 工 智 能 研究 和 发 展 的 许多 重要 领域 来 给 出 这 个 领域 的 远景 。 


1.2 人工 智能 应 用 领域 概述 


分 析 机 不 能 自主 创新 ， 它 只 能 做 我 们 已 经 知道 的 如 何 去 执行 的 事 。 
一 一 阿达 ' 拜 伦 ， 洛 夫 菜 斯 伯 苗 夫人 


对 不 起 ， 戴 夫 ， 我 不 能 让 你 那样 做 。 
一 一 阿 瑟 ， 克 拉克 的 《2001 太空 漫游 ) 中 的 HAL 9000 


现在 我 们 回 到 定义 人 工 智能 的 话题 ， 并 把 视角 转向 这 一 领域 工作 者 的 梦想 和 成 就 。AI 研究 
者 们 所 关心 的 两 个 最 基本 的 问题 是 知识 表示 (knowledge representation) 和 搜索 (search ) 。 前 者 
所 针对 的 是 如 何以 一 种 形式 化 的 《适合 计算 机 操纵 的 ) 语言 来 表征 智能 行为 所 必需 的 全 部 知识 。 
第 2 章 介绍 了 谓词 演算 语言 ， 可 以 用 这 种 语言 来 描述 问题 域 中 对 象 间 的 属性 和 关系 ， 这 种 问题 需 
要 做 出 定性 推理 而 不 是 算术 计算 。 后 面 第 三 部 分 讨论 了 人 工 智 能 已 经 开发 出 来 的 用 于 表示 区 域 
模糊 性 和 复杂 情况 的 工具 ， 这 些 工 具 是 针对 常识 推理 和 自然 语言 理解 这 样 的 区 域 开发 的 。 

搜索 是 一 种 系统 探索 问题 状态 空间 的 问题 求解 技术 ， 问 题 状态 (problem state) 就 是 问题 求 
解 过 程 中 的 各 种 连续 且 可 选 的 步骤 。 例 如 博弈 中 的 不 同 棋局 或 推理 过 程 的 各 种 中 间 步 又 。 我 们 
可 以 搜索 这 些 备 择 解 所 组 成 的 空间 以 找到 最 终 的 答案 。Newell and Simon (1976) 认为 这 也 是 人 
类 求解 问题 的 关键 基础 。 例 如 ， 当 棋 手 分 析 不 同 走 法 的 效果 或 医生 考虑 很 多 个 备 择 诊断 时 ， 他 们 
确实 是 在 搜索 各 种 备 择 方案 。 第 3、4、6 和 16 章 讨 论 了 这 种 模型 的 内 涵 以 及 实现 技术 。 本 书 的 
补充 材料 中 提供 了 用 LISP、Prolog 和 Java 对 这 些 算法 的 实现 。 

和 大 多 数 科 学 一 样 ， 我 们 也 可 以 把 AI 分 解 为 很 多 个 学 科 的 分 支 ， 这 些 分 支 在 求解 问题 的 核 
心 方法 方面 是 相同 的 ， 但 各 自 又 致力 于 不 同 的 应 用 。 本 节 介 绍 几 个 主要 的 应 用 领域 以 及 它们 对 
AI 整体 的 贡献 。 
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1.2.1 博弈 


状态 空间 搜索 的 大 多 数 早 期 研究 都 是 针对 常见 的 棋盘 游戏 来 实现 的 ， 比 如 西洋 跳棋 、 国 际 
象棋 以 及 15 格 拼图 游戏 (15-puzzle) 等 。 除 了 明显 的 智能 性 外 ， 棋 盘 游戏 还 有 很 多 属性 使 其 成 
为 研究 的 理想 对 象 。 大 多 数 游戏 都 有 定义 好 的 竞技 规则 : 这样 便 可 以 很 容易 地 产生 搜索 空间 ， 使 
研究 者 摆脱 那些 由 于 没有 固定 结构 问题 而 产生 的 模糊 性 和 复杂 性 。 博 弈 中 的 棋局 易于 在 计算 机 
中 表示 ， 根 本 不 需要 表征 更 复杂 问题 所 必需 的 复杂 格式 。 博 弈 的 简单 性 使 测试 博弈 程序 没有 任 
何 经 济 和 道德 上 的 负担 。 第 3 章 和 第 4 章 介绍 了 状态 空间 搜索 ， 这 是 大 多 数 博弈 研究 的 基础 。 

博弈 过 程 可 能 产生 惊人 庞大 的 搜索 空间 。 要 搜索 这 些 庞大 而 且 复杂 的 空间 需要 使 用 强大 的 
技术 来 判断 备 择 状 态 ， 探 索 问 题 空间 。 这 些 技术 被 称 为 启发 (heuristie) ， 而 且 成 为 AI 研究 的 一 
个 主要 领域 。 局 发 是 一 种 很 有 用 但 是 可 能 出 错 的 问题 求解 策略 ， 例 如 ， 在 认为 一 个 无 反应 的 器 具 
损坏 前 先 检 查 一 下 它 的 插头 是 否 插 好 ; 或 者 在 下 国际 象棋 时 为 了 保护 王 不 被 抓 而 出 车 。 我 们 通 
常 称 其 为 智能 的 大 多 数 行为 似乎 都 属于 人 类 用 来 求解 问题 的 启发 。 

因为 我 们 大 多 数 人 都 有 玩 这 些 简单 游戏 的 经 历 ， 所 以 我 们 可 以 很 容易 地 设计 出 我 们 自己 的 
启发 并 测试 其 有 效 性 。 若 是 求解 某 个 深奥 领域 〈 比 如 医学 和 数学 领域 ) 的 问题 就 必须 寻找 并 咨 
询 该 领域 的 专家 (国际 象棋 明显 是 个 例外 )。 由 于 这 些 原因 ， 博 弈 为 启发 式 搜索 的 研究 提供 了 广 
阔 的 空间 。 第 4 章 介绍 了 针对 这 些 简单 博弈 的 启发 式 。 尽 管 博弈 程序 具有 简洁 性 ， 但 本 身 也 具有 
一 些 挑 战 性 问题 ， 比 如 不 能 确定 性 地 预测 出 对 手 的 走 法 〈 见 第 5 章 和 第 9 章 ) ， 必 须 考虑 博弈 策 
略 中 的 心理 和 战术 因素 。 


1. 2.2 自动 推理 和 定理 证 明 


可 以 说 自动 定理 证 明 是 人 工 智 能 的 最 古老 分 支 ， 其 根源 可 以 从 纽 维尔 和 西蒙 的 “逻辑 理论 
家 ” (Newell and Simon 1963a) 以 及 “通用 问题 求解 器 ”( Newell and Simon 1963b) ， 追 潮 到 罗素 
和 怀 海德 关于 “可 以 把 数学 看 成 是 从 基本 公理 推导 出 定理 的 纯 形 式 化 推导 ”的 努力 ,一 直到 最 
初 巴 贝 奇 和 莱 布 尼 兹 的 著作 。 无 论 如 何 ， 它 都 理所当然 是 人 工 智能 领域 中 最 硕果 累累 的 分 支 之 
一 。 定 理 -证 明 研 究 肩负 了 AI 早期 研究 中 的 很 多 任务 ， 包 括 形式 化 搜索 算法 以 及 开发 形式 化 的 
表示 语言 ， 例 如 谓词 演算 ( 见 第 2 章 ) 和 逻辑 程序 设计 语言 Prolog。 

自动 定理 证 明 的 吸引 力主 要 在 于 逻辑 的 严谨 性 和 一 般 性 。 因 为 它 是 一 个 形式 化 系统 ， 所 以 
是 逻辑 本 身 适 合 于 自动 化 。 这 种 系统 可 以 处 理 广 泛 范围 内 的 问题 ， 只 要 把 问题 描述 和 相关 背景 
信息 表示 为 逻辑 公理 ， 把 问题 的 实例 表示 为 要 证 明 的 定理 。 这 就 是 自动 定理 证 明和 数学 推理 系 
统 ( 见 第 14 章 ) 的 基础 。 

不 幸 的 是 ， 编 写 定理 证 明 程序 的 很 多 早期 努力 都 无 法 开发 出 一 个 能 够 求解 各 种 复杂 问题 的 
系统 。 这 是 因为 任何 具有 一 定 复杂 度 的 逻辑 系统 都 不 能 产生 无 限 数量 的 可 证 明定 理 : 缺乏 有 效 
的 技术 (启发) 来 引导 搜索 ， 自 动 定 理 证 明 程 序 在 找到 正确 解 之 前 要 证 明 数 量 非 常 庞大 的 无 关 
定理 。 为 了 克服 这 种 低 效 性 ， 很 多 人 认为 引导 搜索 的 纯 形 式 化 的 、 依 据 语法 的 方法 在 处 理 如 此 庞 
大 的 空间 时 存在 固有 的 缺陷 ， 惟 一 的 解决 办 法 是 依赖 人 类 在 求解 问题 时 使 用 的 非 形式 化 的 专门 
策略 。 这 就 是 开发 专家 系统 的 基本 思想 ( 见 第 8 章 ) ， 而 且 事 实证 明 这 也 是 行 之 有 效 的 。 

不 过 ， 基 于 形式 化 数学 逻辑 的 推理 具有 太 强 的 吸引 力 ， 以 至 于 难以 视而不见 。 很 多 重要 的 问 
题 ， 比 如 设计 和 验证 逻辑 电路 、 验 证 计算 机 程序 的 正确 性 以 及 复杂 系统 的 控制 等 仍 与 这 种 方法 
相关 。 此 外 ， 定 理 证 明 研 究 人 员 已 经 通过 设计 有 效 的 启发 式 算法 取得 了 成 功 ， 这 些 启发 式 算 法 主 
要 依赖 于 评估 逻辑 表达 式 的 语法 形式 ， 从 而 降低 了 搜索 空间 的 复杂 度 ， 不 必 求 助 于 大 多 数 人 类 
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问题 求解 器 所 使 用 的 专门 技术 。 

对 自动 定理 证 明 程序 保持 浓厚 兴趣 的 另 一 个 原因 是 : 这 样 的 系统 不 一 定 要 在 离开 人 类 帮助 
的 情况 下 独立 求解 非常 复杂 的 问题 。 很 多 现代 的 定理 证 明 程序 往往 是 充当 智能 助手 ， 让 人 类 完 
成 要 求 更 高 的 任务 ， 人 类 把 一 个 大 的 问题 分 解 为 多 个 子 问题 ， 并 设计 出 搜索 可 能 解 空间 的 启发 
式 方法 ， 然 后 计 定 理 证 明 程序 完成 比较 简单 但 仍 需 它 来 完成 的 任务 ， 比 如 证 明 引 理 、 验 证 较 小 的 
推测 以 及 完成 人 类 所 给 出 思路 的 形式 化 证 明 ( Boyer and Moore 1979, Bundy 1988 ，Veroff 1997 ， 
Veroff and Spinks 2006 ) 。 


1.2.3 专家 系统 


从 早期 间 题 求解 研究 中 得 到 的 一 个 主要 启示 就 是 对 特定 领域 知识 的 重视 。 例 如 ， 某 个 医生 
的 诊断 很 准确 并 不 是 因为 他 与 生 俱 来 就 掌握 某 种 通用 的 问题 求解 技巧 ， 而 是 因为 他 对 医学 非 党 
了 解 。 类 似 地 ， 地 质 学 家 善于 发 现 矿藏 是 因为 他 能 够 将 大 量 的 理论 和 实践 知识 应 用 于 现 有 的 问 
题 。 专 家 知识 融合 了 对 问题 的 理论 理解 以 及 大 量 被 经 验 所 证 实 的 启发 式 问题 求解 规则 。 专 家 系 
统 就 是 从 人 类 专家 那里 获取 这 些 知 识 ， 然 后 将 其 进行 形式 化 编码 ， 使 计算 机 可 以 应 用 这 些 知识 
来 求解 类 似 的 问题 。 

依赖 人 类 领域 专家 知识 来 建立 系统 的 问题 求解 策略 是 专家 系统 的 一 个 主要 特征 。 虽 然 某 些 
程序 的 设计 者 也 是 问题 域 知识 的 来 源 ， 但 是 更 典型 的 情况 是 这 些 程序 来 自 于 问题 域 专家 (比如 
医生 、 化 学 家 、 地 质 学 家 或 工程 师 ) 与 人 工 智能 专家 的 合作 。 领 域 专家 提供 问题 域 中 的 必要 知 
识 ， 他 可 以 通过 对 其 问题 求解 方法 的 一 般 介绍 或 者 以 仔细 选择 的 样 例 来 展示 他 的 技巧 。AI 专家 ， 
或 者 按 专 家 系统 设计 者 的 叫 法 称 其 为 知识 工程 师 的 专业 人 员 的 任务 是 用 程序 实现 知识 ， 程 序 不 
仅 要 高 效 ， 而 且 其 行为 又 要 具有 明显 的 智能 性 。 程 序 写 出 之 后 ， 必 须 通 过 求解 样 例 问题 来 精炼 其 
智能 水 平 ， 让 领域 专家 来 评判 它 的 行为 ， 并 对 程序 的 知识 做 出 必要 的 修改 和 补充 。 反 复 重 复 这 个 
过 程 直 到 这 个 程序 满足 预定 的 性 能 要 求 。 

利用 特定 领域 知识 求解 问题 的 最 早 系统 之 一 是 DENDRAL， 它 是 在 20 世纪 60 年 代 后 期 在 斯 
坦 福 开发 的 (Lindsay et al. 1980) 。 人 们 设计 DENDRAL 是 用 来 根据 化 学 分 子 式 和 有 关 分 子 中 化 
学 键 的 大 量 光 谱 信息 来 推断 有 机 分 子 的 结构 。 因 为 有 机 分 子 的 数量 往往 非常 庞大 ， 所 以 这 些 分 
子 可 能 结构 的 数量 往往 也 很 大 。DENDRAL 通过 将 化 学 专家 的 启发 性 知识 应 用 到 构造 解释 问题 来 
处 理 这 个 搜索 空间 非常 庞大 的 问题 。DENDRAL 的 方法 被 证 实 是 非常 有 效 的 ， 只 要 试 几 次 就 可 以 
从 数 以 百 万 的 可 能 结构 中 找到 正确 的 结构 。 这 种 方法 如 此 成 功 ， 以 致 于 该 系统 的 后 继 版 本 和 扩 
展 版 本 被 应 用 到 全 世界 的 化 学 和 药学 实验 室 中 。 

虽然 DENDRAL 是 使 用 特定 领域 知识 达到 专家 级 问题 求解 水 平 的 最 早 程序 之 一 ,但 是 MYCIN 
英 定 了 当代 专家 系统 方法 的 基础 (Buchanan and Shortliffe 1984) 。MYCIN 使 用 专业 的 医学 知识 来 
诊断 脊 做 脑膜 炎 和 血液 传染 病 ， 并 开具 治疗 处 方 。MYCIN 是 在 20 世纪 70 年 代 中 期 在 斯 坦 福 开 
发 的 ， 它 是 使 用 不 确定 性 或 不 完整 信息 进行 推理 的 最 早 程 序 之 一 。MYCIN 可 以 利用 适合 于 特定 
问题 域 的 控制 结构 为 它 的 推理 提供 清楚 的 逻辑 解释 ， 并 能 可 靠 地 评估 其 性 能 的 标准 。 目 前 正在 
使 用 的 很 多 专家 系统 开发 技术 正 是 在 MYCIN 项 目 中 被 首次 研制 的 ( 见 第 8 章 ) 。 

其 他 经 典 的 专家 系统 包括 PROSPECTOR 程序 ， 它 可 以 根据 一 个 地 点 的 地 理 信息 判断 可 能 位 
置 和 矿床 类 型 (Duda et al. 1979a，1979b) ; INTERNIST 程序 ， 它 可 进行 内 科 诊 断 ; Dipmeter Ad- 
visor， 它 可 以 用 来 解释 油井 钻探 记录 的 结果 (Smith and Baker 1983 ) ; 以 及 配置 VAX 计算 机 的 
XCON。XCON 是 在 1981 年 开发 的 ， 而 且 曾 经 有 一 段 时 间 DEC 公司 所 卖 的 每 台 VAX 都 是 由 这 个 
软件 来 配置 的 。 大 量 的 其 他 专家 系统 解决 了 很 多 领域 的 问题 ， 比 如 医学 、 教 育 、 商 务 、 设 计 和 科 
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学 研究 (Waterman 1986 ，Durkin 1994) 。 也 可 以 查阅 人 工 智 能 创新 应 用 (Innovative Applications of 
Artificial Intelligence，IAAI) 会 议 的 当前 论文 集 。 

值得 注意 的 一 个 有 趣 现象 是 : 已 经 开发 出 的 大 多 数 专家 系统 都 是 为 比较 专业 的 、 专 家 级 的 
领域 设计 的 。 这 些 领域 通常 已 经 有 了 很 深入 的 研究 并 明确 定义 了 问题 求解 策略 。 使 用 这 种 方法 
来 求解 那些 依赖 “常识 ”来 定义 的 比较 松散 的 问题 要 困难 得 多 。 虽 然 专 家 系统 有 着 广阔 的 前 景 ， 
但 是 过 高 地 估计 其 能 力也 是 错误 的 。 目 前 ， 专 家 系统 有 以 下 几 点 不 足 ; 

1) 难以 表征 问题 域 的 深层 知识 。 例 如 ，MYCIN 缺乏 人 类 生理 系统 的 真正 知识 。 它 并 不 知道 
血液 是 用 来 干什么 的 以 及 冰 髓 的 作用 是 什么 。 昕 说 曾经 发 生 过 这 样 一 件 事 ， 当 为 一 个 脑膜 炎 患 
者 选择 治疗 药物 时 ，MYCIN 询问 患者 是 否 怀 孕 了 ， 尽 管 这 个 患者 已 经 告诉 MYCIN 他 是 男性 了 ， 
但 还 是 出 现 了 这 样 啼笑 皆 非 的 情况 。 不 管 这 个 故事 是 否 真 实 ， 它 确实 说 明了 专家 系统 中 知识 存 
在 潜在 的 狭义 。 

2) 缺乏 鲁 棒 性 和 灵活 性 。 如 果 人 类 遇 到 一 个 不 能 立即 解决 的 问题 ， 那 么 通常 会 回 过 头 来 分 
析 基 本 的 原理 并 想 出 某 种 策略 来 攻克 这 个 问题 。 但 是 专家 系统 通常 没有 这 个 能 力 。 

3) 不 能 提供 深入 的 解释 。 因 为 专家 系统 缺乏 问题 域 的 深层 知识 ， 所 以 它 给 出 的 解释 通常 仅 
限于 其 寻找 解 时 所 采取 的 步骤 的 描述 。 例 如 ， 它 们 通常 不 能 说 出 “为 什么 ”要 选取 某 种 方法 。 

4) 难以 验证 。 虽 然 任何 庞大 的 计算 机 系统 的 正确 性 都 是 难以 验证 的 ， 但 是 专家 系统 的 验证 
就 更 加 困难 。 因 为 专家 系统 技术 被 应 用 在 关键 应 用 中 ， 比 如 空中 交通 控制 、 核 反应 堆 操作 以 及 武 
器 系统 ， 所 以 这 是 一 个 严重 的 问题 。 

5) 不 会 根据 经 验 学 习 。 目 前 的 专家 系统 大 多 是 手工 的 ; 一 旦 系统 完成 ， 其 性 能 就 不 再 提 
高 ， 除 非 程序 员 对 其 进行 进一步 的 修改 。 这 使 人 们 对 这 种 系统 的 智能 性 产生 了 很 大 的 怀疑 。 

尽管 专家 系统 存在 这 些 局 限 ， 但 它们 还 是 在 很 多 重要 应 用 中 证 实 了 它们 的 价值 。 专 家 系统 
是 本 书 的 一 个 主要 论题 ， 具 体 讨论 见 第 7 章 和 第 8 章 。 当 前 的 应 用 通常 可 以 在 IAAI 会 议 的 论文 
集中 找到 。 


1.2.4 自然 语言 理解 和 语义 学 


人 工 智能 一 个 经 久 不 豪 的 目标 就 是 开发 出 可 以 理解 并 产生 人 类 语言 的 程序 。 这 不 仅 是 因为 
使 用 和 理解 人 类 语言 的 能 力 似乎 是 人 类 智能 的 一 个 基本 特征 ， 而 且 这 种 自动 化 会 对 计算 机 本 身 
的 用 途 和 效力 产生 惊人 的 影响 。 人 们 已 经 付出 了 很 多 努力 来 编写 理解 自然 语言 的 程序 。 尽 管 这 
些 程序 已 经 在 某 些 特定 的 环境 下 取得 了 成 功 , 但 目前 的 方法 学 还 无 法 让 一 个 使 用 自然 语言 的 系 
统 具 有 刻画 人 类 会 话 的 灵活 性 和 一 般 性 的 能 力 。 

理解 自然 语言 涉及 很 多 问题 ， 远 远 要 比 把 语句 分 解 为 各 个 部 分 然后 在 字典 中 查 到 这 些 单词 
的 含义 要 来 得 复杂 。 真 正 的 理解 必须 依赖 于 对 话 领 域 的 广泛 背景 知识 、 该 领域 的 习惯 用 语 ， 以 及 
能 够 应 用 上 下 文 知 识 处 理 人 类 言语 中 正常 省 略 和 模糊 性 的 能 力 。 

例如 ， 考 虑 和 一 个 懂 英 语 但 不 懂 棒 球 规 则 、 选 手 以 及 历史 的 人 谈论 该 项 目 时 的 困难 。 这 个 人 
会 理解 下 面 这 和 句 话 的 售 义 吗 :“With none down in the top of the ninth and the go — ahead run at sec- 
ond ，the manager called his relief from the bull pen”? 虽然 这 句 话 中 所 有 单词 的 单个 含义 是 很 好 理 
解 的 ， 但 是 这 句 话 对 于 不 是 棒球 迷 的 高 智商 人 也 是 无 法 理解 的 。 

自然 语言 理解 自动 化 的 主要 问题 就 是 完成 以 下 任务 : 收集 和 组 织 这 种 背景 知识 ， 以 及 如 何 
以 一 种 有 助 于 领悟 语言 的 方式 来 组 织 这 些 知 识 。 针 对 这 一 需求 ， 研 究 者 们 已 经 开发 出 了 很 多 技 
术 用 来 构建 人 工 智能 中 使 用 的 语义 含义 ( 见 第 7 章 和 第 15 章 ) 。 

因为 理解 自然 语言 需要 的 知识 量 大 得 惊人 ， 所 以 大 多 数 工作 都 是 在 那些 已 被 深入 理解 的 专 
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业 领 域内 完成 。 最 早 开 拓 这 种 “微小 世界 ”方法 学 的 程序 之 一 是 威 诺 格 拉 德 的 SHRDLU， 这 个 
自然 语言 系统 可 以 “谈论 ”不 同形 状 和 颜色 积木 的 简单 布局 ( Winograd 1973) 。SHRDLU 可 以 回 
答 类 似 这 样 的 询问 :“ 在 蓝 色 方块 上 方 的 积木 是 什么 颜色 ?” 以 及 规划 这 样 的 动作 :“ 将 红 的 锥 体 
移 到 绿色 的 砖 块 上 ”。 这 种 问题 涉及 积木 的 简单 排列 方式 的 描述 和 操作 ， 该 类 问题 在 早期 AI 研 
究 中 频繁 出 现 ， 我们 称 其 为 “积木 世界 ”问题 。 

尽管 SHRDLU 可 以 成 功 地 就 积木 的 排列 进行 交谈 ， 它 的 方法 还 是 不 能 从 积木 世界 中 推广 到 
其 他 情况 。 用 在 这 个 程序 中 的 表示 技术 过 于 简单 ， 以 致 于 无 法 表征 更 丰富 、 更 复杂 领域 的 语义 结 
构 。 目 前 对 于 自然 语言 理解 的 大 多 数 研究 主要 致力 于 寻找 足够 通用 的 具有 代表 性 的 形式 方法 ， 
它 既 可 以 适用 于 很 广 范围 内 的 应 用 ， 也 可 以 很 好 地 适用 于 某 个 给 定 领 域 的 特定 结构 。 针 对 这 一 
目标 ， 人 们 已 经 开发 出 了 很 多 不 同 的 技术 〈 其 中 大 多 是 对 语义 网 的 扩展 或 修改 ) ， 并 使 用 这 些 技 
术 研 制 出 可 以 理解 特定 但 有 趣 知识 域 中 自然 语言 的 程序 。 最 后 要 指出 的 是 ， 在 目前 的 研究 ( Mar- 
cus 1980 Manning and Schutze 1999, Jurafsky and Martin 2000) 中 采用 了 随机 模型 来 刻画 语法 和 
语义 ， 这 些 模型 描述 了 单词 和 语言 结构 是 如 何在 语言 中 “ 共 现 ”的 。 不 过 ， 对 语言 的 完全 计算 
理解 仍然 是 目前 尚 无 法 达到 的 。 


1.2.5 对 人 类 表现 建 模 


虽然 前 面 讨论 的 大 多 数 领域 都 是 以 人 类 智能 作为 人 工 智能 的 参考 目标 ， 但 是 这 并 不 等 于 说 
那些 程序 就 是 以 人 类 思想 的 组 织 为 模式 的 。 事 实 上 ， 很 多 AI 程序 就 是 针对 求解 问题 的 需要 建立 
的 ， 并 没有 考虑 和 人 类 大 脑 体系 结构 的 相似 性 。 即 使 对 于 专家 系统 ， 虽 然 它 的 大 多 数 知识 是 从 人 
类 专家 那里 获得 的 ， 但 是 它 并 没有 真正 模拟 人 类 大 脑 求解 问题 的 内 部 过 程 。 如 果 性 能 是 判断 系 
统 好 坏 的 惟一 标准 ， 那 么 根本 没有 必要 试图 模拟 人 类 的 问题 求解 方法 。 实 际 上 ， 没 有 采用 人 类 解 
决 问题 〈 国 际 象 横 ) 的 方法 的 程序 相 比 对 应 的 采用 人 类 方法 的 程序 经 常 可 以 更 成 功 。 不 过 ， 设 
计 可 以 显 式 地 模拟 人 类 行为 的 某 些 方面 的 系统 ， 一 直 是 人 工 智能 和 心理 学 中 的 重要 研究 领域 。 

对 人 类 行为 建 模 除 了 为 AI 提供 了 很 多 基本 方法 学 以 外 ， 还 已 经 证 明 这 是 阐明 和 测试 人 类 认 
知 理论 的 一 个 有 力 工具 。 计 算 机 科学 家 所 开发 出 的 问题 求解 方法 学 已 经 为 心理 学 家 探索 人 类 思 
想 提供 了 新 的 思路 。 很 多 心理 学 家 不 再 采用 早期 研究 中 的 模糊 语言 (也 就 是 根据 某 些 行为 学 家 
的 建议 完全 放弃 描述 人 类 大 脑 的 内 部 工作 过 程 ) 来 表述 认 知 理论 ， 而 是 采用 计算 机 科学 的 语言 
和 理论 来 阐释 人 类 智能 的 模型 。 这 些 技 术 不 仅 为 描述 人 类 智能 提供 了 很 多 新 的 词汇 ， 而 且 这 些 
理论 的 计算 机 实现 为 心理 学 家 提供 了 一 个 机 会 去 实验 测试 、 评 论 和 提炼 他 们 的 思想 (Luger 
1994; 参考 认 知 科学 协会 的 期 刊 和 会 议 ) 。 第 16 章 归 纳 了 人 工 智 能 和 人 类 智能 之 间 的 关系 。 


1.2.6 规划 和 机 器 人 学 


对 规划 的 研究 开始 于 设计 具有 一 定 灵 活性 并 对 外 界 具 有 响应 性 的 机 器 人 。 简 单 地 说 ， 规 划 
就 是 假定 机 器 人 可 以 执行 特定 的 原子 动作 ， 并 试图 找到 能 够 完成 更 高 层 任务 的 动作 序列 ， 比 如 
穿 过 一 个 充满 障碍 的 屋子 。 

很 多 原因 导致 规划 成 为 一 种 复杂 的 问题 ， 并 不 只 是 要 考虑 可 能 移动 序列 的 空间 大 小 。 即 使 
是 一 个 相当 简单 的 机 器 人 也 能 产生 大 量 的 可 能 移动 序列 。 举 例 来 说 ， 设 想 一 个 机 器 人 可 以 向 前 、 
后 、 左 、 右 移动 ， 然 后 考虑 这 个 机 器 人 绕 房间 移动 一 周 的 方式 有 多 少 种 。 同 时 假定 在 这 个 房间 里 
存在 障碍 ， 而 且 机 器 人 必须 选择 一 条 路 径 以 某 种 高 效 的 方式 绕 过 这 些 障碍 。 编 写 一 个 程序 ， 它 可 
以 在 这 种 情况 下 智能 地 发 现 最 佳 路 径 ， 而 不 被 数量 庞大 的 可 能 性 所 淹没 。 编 写 这 个 程序 需要 周 
密 的 技术 来 表示 空间 知识 并 控制 对 可 能 环境 的 搜索 过 程 。 
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人 类 在 规划 中 使 用 的 一 种 方法 是 分 层 问 题 分 解 (hierarchical problem decomposition ) 。 如 果 你 
在 规划 一 次 从 阿尔 伯 克 基 到 伦敦 的 旅行 ， 那么 你 通常 会 分 别处 理 以 下 一 些 问题 ,准备 机 票 、 到 达 
机 场 、 转 机 、 寻 找 伦敦 的 地 面 交 通 方式 ， 即 使 每 个 步 双 都 是 较 大 规划 的 一 部 分 ， 也 需要 进行 分 别 
处 理 。 这 些 步 又 中 的 每 一 个 可 能 还 会 被 分 解 为 更 小 的 子 问题 ， 比 如 寻找 城市 地 图 、 乘 坐 地 铁 以 及 
寻找 合适 的 旅店 。 这 种 方法 不 仅 有 效 地 限制 了 必须 搜索 的 空间 的 大 小 ， 而 且 可 以 把 经 常 使 用 的 
子规 划 保 存 起 来 以 备 将 来 使 用 。 

虽然 人 类 做 出 规划 一 般 不 需要 花费 太 大 力气 ， 但 是 产生 一 个 可 以 完成 同样 任务 的 计算 机 程 
序 却 是 非常 富有 挑战 性 的 。 要 实现 看 起 来 非常 简单 的 把 一 个 问题 分 解 为 若干 独立 子 问题 的 任务 ， 
实际 上 却 需要 复杂 的 启发 式 和 规划 领域 的 广泛 知识 。 判 断 应 该 保存 什么 样 的 子规 划 以 及 如 何 把 
它们 推广 到 将 来 的 应 用 之 中 也 具有 同等 的 难度 。 

一 个 盲目 执行 动作 序列 而 不 对 其 所 处 环境 的 变化 做 出 响应 或 者 不 能 检测 其 自身 规划 并 纠正 
其 中 误差 的 机 器 人 很 难 被 认为 是 具有 智能 的 。 机 器 人 可 能 没有 足够 的 传感器 来 定位 预定 路 径 上 
的 所 有 障碍 。 因 此 机 器 人 还 必须 根据 它 已 经 “感受 ”到 的 情况 开始 在 房间 中 移动 ， 并 在 检测 到 
其 他 障碍 物 时 纠正 它 的 路 线 。 以 一 种 允许 对 不 断 变化 的 环境 做 出 响应 的 方式 来 组 织 规划 是 规划 
研究 中 的 一 个 主要 问题 (Lewis and Luger 2000 ，Thrun et al. 2007) 。 

最 后 要 指出 的 是 ,通过 机 器 人 这 一 人 工 智能 研究 领域 ,我 们 可 以 看 到 面向 主体 的 问题 求解 
策略 的 很 多 细节 ( 见 1.1.4 节 )。 在 研究 者 们 被 维护 庞大 表示 空间 的 复杂 性 所 阻碍 而 且 难 以 设计 
出 胜任 传统 规划 的 搜索 算法 之 后 ， 包 括 Agre and Chapman (1987) 、Brooks (1991a) 以 及 Thrun 等 
(2007) 在 内 的 研究 者 们 开始 把 较 大 的 问题 重新 表示 成 多 个 半自动 主体 的 交互 。 每 个 主体 负责 整 
个 问题 任务 中 它 自己 的 那 一 部 分 ， 并 通过 合作 逐步 使 更 高 层 解 浮 现 出 来 。 

规划 研究 目前 已 经 远 远 超 出 了 机 器 人 学 领域 的 范围 ， 包含 了 协调 任何 复杂 的 任务 或 目标 集 
合 。 现 代 规 划 程 序 已 经 被 应 用 到 主体 (Nilsson 1994) 以 及 粒子 束 加 速 器 的 控制 之 中 (Klein et al. 
1999 ，2000 ) 。 


1.2.7 人 工 智 能 的 语言 和 环境 


人 工 智 能 研究 的 最 重要 的 副产品 之 一 就 是 促进 了 程序 设计 语言 和 软件 开发 环境 的 发 展 。 很 
多 原因 人 迫使 AI 程序 员 去 开发 一 套 强 大 的 程序 设计 方法 学 ， 这 些 原因 包括 : 很 多 AI 应 用 程序 都 很 
大 ， 原 型 设计 方法 学 的 重要 性 ， 使 用 搜索 算法 的 倾向 产生 了 庞大 的 空间 ， 难 以 预测 用 启发 式 驱 动 
的 程序 的 行为 。 

程序 设计 环境 包括 各 种 知识 构造 技术 ， 比 如 面向 对 象 程序 设计 。 像 LISP 和 Prolog 这 样 的 高 
级 语言 支持 模块 化 开发 ， 这 有 助 于 控制 程序 的 大 小 和 复杂 上 度 。 跟 踪 工 具 使 程序 员 可 以 重新 构造 
复杂 算法 的 执行 过 程 ， 从 而 有 可 能 解决 启发 式 搜索 算法 的 复杂 性 。 如 果 没 有 这 些 工 具 和 技术 ， 那 
么 很 多 重要 的 AI 系统 能 否 建立 起 来 是 值得 怀疑 的 。 

目前 这 些 技术 大 多 已 成 为 软件 工程 的 标准 工具 ， 而 与 AI 理论 的 核心 已 经 没有 什么 关系 了 。 
其 他 一 些 类 似 于 面向 对 象 程序 设计 这 样 的 方法 在 理论 和 实践 中 都 起 到 了 显著 的 作用 。 最 后 要 说 
明 的 是 ， 目 前 也 在 用 一 些 比较 传统 的 计算 语言 (比如 C++ 和 Java) 来 建立 AI 算法 。 

为 人 工 智能 程序 设计 开发 的 语言 与 这 一 领域 的 理论 结构 结合 得 更 加 紧密 。 我 们 用 Prolog、 
LISP 和 Java 实现 了 本 书 介绍 的 很 多 表征 结构 ， 读 者 可 以 通过 Luger 和 Stubblefield (2009) 得 到 ， 
也 可 以 通过 互联 网 得 到 它们 。 本 书 仍然 避 开 对 不 同 语言 的 优 劣 的 争论 。 相 反 ， 我 们 坚信 这 名 名 
言 :“ 好 工匠 都 有 自己 善 用 的 工具 ”。 
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1.2.8 机 器 学 习 


学 习 一 直 是 AI 中 最 具 挑 战 的 领域 。 学 习 的 重要 性 是 姓 庸 置疑 的 ， 因 为 这 种 能 力 是 智能 行为 
的 最 重要 的 特征 。 专 家 系统 可 以 通过 执行 大 量 且 费用 昂贵 的 计算 来 求解 问题 。 不 过 不 同 于 人 类 
的 是 ， 如 果 专 家 系统 第 二 次 遇 到 相同 或 类 似 的 问题 ， 它 通常 并 不 记得 上 一 次 的 解 ， 而 是 再 执行 
次 相同 的 计算 过 程 。 对 于 第 三 次 、 第 四 次 甚至 任何 次 的 重复 出 现 ， 它 的 处 理 方式 都 是 如 此 一 ”很 


” 难说 这 是 一 个 智能 的 问题 求解 器 的 行为 。 解 决 这 一 问题 的 显而易见 的 方法 是 让 程序 自己 能 够 学 


习 , 不 管 是 从 经 验 、 类 比 、 实 例 中 ,通过 被 “告知 ”如 何 去 做 ， 还 是 根据 结果 对 其 进行 奖惩 。 

虽然 让 程序 自己 学 习 是 一 个 很 难 的 领域 ,但 是 很 多 程序 说 明 这 是 可 能 的 。 一 个 早期 的 程序 
是 被 设计 用 来 发 现 数学 定律 的 自动 数学 家 (Automated Mathematician,AM) (Lenat 1977，1982)。 
在 被 赋予 了 集合 理论 的 概念 和 公理 后 ，AM 能 够 导出 很 多 重要 的 数学 概念 ， 比 如 集合 的 基数 、 整 
数 运算 以 及 数论 的 很 多 结果 。AM 通过 修改 其 更 有 的 知识 库 来 猜想 新 的 定理 ， 然 后 启发 式 地 从 大 
量 备 择 定理 中 搜寻 “最 佳 者 ”。 最 近 ， 科 上 顿 等 人 Cotton et al. 2000) 设计 了 一 个 程序 ， 这 个 程序 
可 以 自动 发 明 “ 有 趣 的 ”整数 序列 。 

早期 有 影响 的 研究 还 包括 温 斯 顿 的 研究 ， 他 根据 积木 世界 中 的 一 系列 样 例 导出 像 “ 拱 形 ” 
这 样 的 结构 概念 〈Winston 1975$a) 。ID3 算法 已 经 被 证 明 可 以 成 功 地 从 样 例 中 学 习 通用 模式 
(Quinlan 1986a) 。Meta - DENDRAL 可 以 从 具有 已 知 结构 的 化 合 物 数据 样 例 中 学 习 规 则 ， 用 于 解 
释 有 机 化 学 中 的 大 量 光 谱 数据 。Teiresias 专家 系统 的 智能 “前 端 ” 可 以 把 顶层 的 建议 转 
化 为 新 的 规则 放 人 知识 库 (Davis 1982) 。 计 算 机 高 手 可 以 设计 完成 积木 世界 操作 的 规划 ， 方 法 
是 使 用 一 个 迭代 过 程 不 断 地 设计 规划 、 测 试 规划 ， 然 后 纠正 在 候选 规划 中 发 现 的 所 有 不 足 
(Sussman 1975 ) 。 对 基于 解释 的 学 习 的 研究 已 经 表明 先 验 知识 在 学 习 中 的 有 效 性 《Mitchell et al. 
1986，DeJong and Mooney 1986) 。 目 前 还 出 现 了 很 多 重要 的 生物 和 社会 学 习 模 型 ， 我 们 将 在 连接 
学 习 和 涌现 学 习 的 章节 (第 11 章 和 第 12 章 ) 中 介绍 这 些 内 容 。 

机 器 学 习 程序 的 成 功 表明 存在 一 系列 通用 的 学 习 原 则 ， 这 些 原则 将 使 我 们 构造 出 具有 在 实 
际 领域 内 进行 学 习 的 能 力 的 程序 。 第 四 部 分 讨论 了 一 些 机 器 学 习 的 方法 。 


1.2.9 其 他 表示 : 神经 网 络 和 遗传 算法 


本 书 介绍 的 大 多 数 技术 都 是 使 用 显 式 表示 的 知识 和 周密 设计 的 搜索 算法 来 实现 智能 。 还 有 
一 些 建 立 智能 程序 的 方法 与 此 完全 不 同 ， 它们 有 的 使 用 一 种 类 似 于 人 类 大 脑 中 神经 元 的 模型 ， 
有 的 使 用 遗传 算法 和 人 工 生 命中 发 现 的 进化 模式 。 

图 1-2 是 神经 元 的 简单 示意 图 ， 它 是 由 具有 很 多 枝 状 突起 ( 称 为 树 突 (dendrite)) 的 细胞 体 
和 单个 分 支 〈 称 为 轴 突 (axon)) 组 成 的 。 树 突 可 以 接收 来 自 其 他 神经 元 的 信号 。 当 这 些 树 突 接 
收 脉冲 的 混合 结果 超过 某 个 阐 值 后 ， 神 经 元 便 会 激发 ， 从 而 产生 一 个 脉冲 (或 者 尖峰 ) 传 向 轴 
突 。 轴 突 末 端的 分 支 形 成 了 与 其 他 神经 元 相连 的 突 触 (synapse)。 突 触 是 神经 元 彼此 之 间 的 联系 
点 ; 突 触 可 以 分 为 激发 型 (excitatory) 和 抑制 型 (inhibitory)， 对 应 于 把 到 达 的 脉冲 加 入 到 总 信 
号 中 或 是 从 总 信号 中 减 去 这 个 脉冲 。 

这 种 对 神经 元 的 描述 有 些 过 于 简单 ， 但 是 它 抓 住 了 与 神经 元 的 计算 模型 有 关 的 那些 特征 。 
尤其 是 ， 每 个 计算 单元 以 它 的 输入 为 参数 来 计算 某 个 函数 ， 并 把 结果 传递 到 网 络 中 的 其 他 相连 
单元 : 最 终 的 结果 是 由 网 络 〈 神 经 系统 的 连接 和 阔 值 权 ) 通过 并 行 分 布 处 理 产生 的 。 

神经 元 体系 结构 是 实现 智能 的 有 力 机 制 ， 这 有 很 多 原因 。 传 统 的 AI 程序 比较 脆弱 而 且 对 品 
声 过 于 敏感 。 人 类 智能 要 灵活 得 多 ， 而 且 善 于 解释 有 干扰 的 输入 ， 比 如 暗室 内 的 人 脸 或 嗜 杂 聚会 
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中 的 对 话 。 因 为 神经 体系 结构 使 用 分 布 在 网 络 中 精密 组 织 的 大 量 单元 来 获取 知识 ， 所 以 它们 似 
乎 更 善于 模糊 地 匹配 带 有 干扰 的 数据 和 不 完整 的 数据 。 





图 1-2 神经 元 的 简单 示意 图 
[摘自 Crick and Asanuma (1986)] 


使 用 遗传 算法 和 人 工 生命 ， 我们 从 以 前 解决 方案 的 各 部 分 中 演化 出 新 的 问题 解决 方案 。 遗 
传 算 子 〈 如 交叉 和 变异 ) 更 像 自然 界 中 它们 的 遗传 等 价 物 ， 它 们 为 每 个 新 后 代 产 生 更 好 的 潜在 
的 问题 解决 方案 。 人 工 生命 根据 以 前 各 代 中 它 的 邻居 的 “质量 ”产生 新 后 代 。 

神经 元 体系 结构 和 遗传 算法 都 提供 了 一 种 并 行 化 的 自然 模型 ， 因 为 每 个 神经 元 或 解 的 片段 
都 是 一 个 独立 的 单元 。 希 利 斯 (Hillis 1985) 评论 了 这 一 事实 : 人 类 取得 的 知识 越 多 ， 处理 任务 
的 速度 越 快 ， 而 计算 机 的 速度 往往 会 减 慢 。 造 成 这 种 减 慢 的 原因 是 顺序 搜索 知识 库 要 花 大 量 的 
时 间 ; 像 人 脑 这 样 的 高 度 并 行 体系 结构 没有 这 个 问题 。 总 而 言 之 ， 从 神经 系统 或 遗传 的 角度 处 理 
智能 问题 具有 某 种 固有 的 吸引 力 。 毕 竟 ， 进 化 的 大 脑 成 就 了 智能 ， 而 大 脑 是 使 用 神经 元 体系 结构 
产生 智能 的 。 我 们 在 第 10 、11 章 中 介绍 了 神经 网 络 、 遗 传 算法 和 人 工 生命 。 


1. 2. 10 ”Al 和 哲学 


在 1.1 节 中 ， 我 们 介绍 了 人 工 智能 的 哲学 、 数 学 和 社会 学 根源 。 这 里 要 说 的 是 ， 现 代 AI 不 
仅 是 这 些 传统 学 科 的 产物 ， 而 且 也 为 这 些 学科 做 出 了 贡献 。 

举例 来 说 ， 图 灵 提 出 的 关于 智能 程序 的 问题 反 过 来 也 有 助 于 我 们 对 智能 本 身 的 理解 。 什 么 
是 智能 ， 怎 样 才 可 以 描述 它 ? 知 识 的 属性 是 什么 ?知识 可 以 表示 吗 ? 如 何 才能 把 某 一 应 用 领域 内 
的 知识 与 该 领域 的 问题 解决 技巧 联系 起 来 呢 ?“ 知 道 什 么 是 正确 的 ”( 邵 亚 里 士 多 德 的 理论 ) 与 
“知道 如 何 去 做 ”( 亚 里 士 多 德 的 实践 ) 是 如 何 联系 起 来 的 ? 

上 面 提出 的 这 些 问题 构成 了 ATI 研究 者 和 设计 者 所 思考 的 一 个 重要 部 分 。 从 科学 的 意义 上 来 
说 ,可 以 把 AI 程序 看 做 是 实验 。 程 序 使 设计 成 为 一 个 实体 ， 因 此 运行 程序 就 是 实验 的 过 程 。 程 
序 设 计 者 观察 实验 的 结果 ， 然 后 再 重新 设计 ， 然 后 再 进行 实验 。 通 过 这 种 方式 ， 我 们 可 以 判断 我 
们 的 表示 和 算法 是 否 足 以 成 为 智能 行为 的 模型 。 纽 维尔 和 西蒙 (Newell and Simon 1976) 在 1976 
年 获得 图 灵 奖 时 所 做 的 演讲 中 ， 提 出 了 这 种 从 科学 角度 来 理解 的 方法 (第 六 部 分 )。 他 们 还 提出 
了 一 种 使 用 物理 符号 系统 假设 来 表示 智能 的 强 模型 。 该 假设 的 内 容 是 : 一 个 物理 系统 表现 出 知 
能 的 充 要 条 件 是 它 必 须 是 一 个 物理 符号 系统 。 我 们 在 第 六 部 分 中 将 继续 讨论 这 个 假设 的 含义 ， 
并 介绍 许多 现代 思想 家 是 如 何 批评 这 个 假设 的 。 

许多 AI 的 应 用 领域 还 揭 开 了 深层 的 哲学 问题 。 我 们 是 从 什么 意义 上 来 说 计算 机 可 以 理解 自 
然 语言 表达 式 ? 要 产生 或 理解 语言 需要 相应 的 符号 解释 。 但 我 们 没有 充分 的 理由 说 明 符号 串 是 
形式 完善 的 。 理 解 机 制 必须 能 够 在 上 下 文中 估算 语义 或 解释 符号 。 语 义 是 什么 ? 解释 是 什么 ”从 
什么 意义 上 来 考核 解释 的 效果 ? 

很 多 AI 应 用 领域 都 出 现 了 类 似 的 哲学 问题 ， 不 论 是 与 人 类 的 问题 求解 高 手 合 作 建立 专家 系 


22 锚 一 部 分 人 工 生 能 抱 历 史 游 尖 及 研 先 区 辕 





统 ， 设 计 计算 机 视觉 系统 ， 还 是 设计 机 器 学 习 算法 。 本 书 的 很 多 章节 中 都 涉及 这 样 的 问题 ， 第 六 
部 分 再 次 探讨 与 哲学 相关 的 一 般 问 题 。 


1.3 ”人工 智能 小 结 


前 面 我 们 讨论 了 人 工 智 能 的 主要 研究 和 应 用 领域 ， 我 们 希望 通过 这 些 讨论 可 以 为 人 工 智能 
下 一 个 定义 。 前 面 的 纵览 向 我 们 展现 了 一 个 年 轻 而 且 充满 希望 的 研究 领域 ， 其 宗旨 是 寻找 一 种 有 
效 的 方式 来 把 智能 的 问题 求解 、 规 划 和 通信 技巧 应 用 到 更 广泛 的 实际 问题 中 。 虽 然 人 工 智 能 研究 所 
针对 的 问题 非常 广泛 ， 但 是 很 多 重要 的 特征 是 该 领域 的 所 有 分 支 所 共有 的 ， 这 些 特征 包括 : 

1) 利用 计算 机 来 进行 推理 、 模 式 识 别 、 学 习 或 其 他 形式 的 推断 。 

2) 集中 于 不 存在 算法 解 的 问题 。 这 也 是 为 什么 启发 式 搜 索 是 一 种 主要 的 AI 问题 求解 技术 
的 原因 。 

3) 致力 于 那些 利用 不 精确 、 不 完全 或 没有 和 良好 定义 的 信息 来 求解 的 问题 ， 而 且 要 通过 表示 
的 形式 方法 来 使 程序 员 可 以 弥补 这 些 问题 。 

4) 推理 目标 是 问题 域 的 显著 定性 特征 。 

5) 除了 处 理 语法 形式 问题 外 ， 还 要 试图 处 理 语义 含义 问题 。 

6) 答案 可 能 既 不 精确 也 不 最 优 ， 但 从 某 种 意义 上 来 说 是 “充分 的 ”"。 这 是 依赖 启发 式 问题 
求解 方法 所 导致 的 结果 ， 有 些 情 况 下 得 到 优化 或 精确 解 的 代价 太 高 或 者 根本 就 不 可 能 得 到 这 样 
的 解 。 

7) 使 用 大 量 针对 某 一 领域 的 知识 来 求解 问题 。 这 是 专家 系统 的 基础 。 

8) 使 用 元 层次 的 知识 来 实现 对 问题 求解 策略 的 更 周密 控制 。 虽 然 这 是 一 个 非常 难 的 问题 ， 
目前 的 系统 还 很 少 采 用 ， 但 是 它 已 经 逐渐 成 为 一 个 关键 的 研究 领域 。 

我 们 希望 以 上 介绍 可 以 使 读者 对 人 工 智能 的 总 体 结构 和 价值 有 一 定 的 了 解 。 我 们 也 希望 那 
些 对 搜索 和 表示 这 样 的 技术 问题 的 简单 介绍 不 会 让 读者 感到 过 于 了 星 涩 难 懂 ， 本 书后 文 将 展开 讨 
论 这 些 问 题 。 这 里 提 到 它们 是 为 了 说 明 它 们 在 人 工 智能 理论 体系 中 的 重要 性 。 

正如 我 们 在 讨论 面向 主体 的 问题 求解 策略 中 所 提 到 的 ， 对 象 是 通过 与 其 他 对 象 的 关系 来 体 
现 其 意义 的 。 这 一 点 对 于 构成 一 个 科学 研究 领域 的 事实 、 理 论 和 技术 来 说 也 是 正确 的 。 本 书 也 想 
要 突出 这 种 相互 关系 ， 这 样 当 介绍 某 个 独立 的 技术 主题 时 ,读者 便 可 以 在 人 工 智能 的 总 体 框架 
中 找到 该 主题 的 位 置 ， 来 理解 其 实质 。 这 种 观察 方法 是 从 心理 学 家 和 系统 理论 家 格 里 戈 里 ' 贝 
特 森 那里 借鉴 来 的 〈Bateson 1979 ) : 


打 断 联系 学 习 元 素 的 模式 ， 必 定 会 破坏 学 习 的 质量 。 
1.4 结语 和 参考 文献 


ATI 领域 反映 了 西方 文明 某 些 最 古老 方面 对 现代 计算 模型 的 影响 。 理 性 化 、 表 示 和 推理 这 些 
概念 目前 正经 受 着 前 所 未 有 的 详细 研究 ， 因 为 我 们 这 些 AI 领域 的 工作 者 们 要 求 用 算法 来 理解 它 
们 。 同 时 ， 政 治 、 经 济 和 伦理 形势 也 迫使 我 们 要 对 我 们 发 明 的 影响 负责 。 

关于 本 章 提出 的 这 些 主题 ， 以 下 著作 中 也 有 精彩 的 论述 : 《Mind Design》 (Haugeland 1997 ) 、 
《Artificial Intelligence: The Very Idea》 (Haugeland 1985 ) 、 《Brainstorms》 (Dennett 1978 ) 、《Men- 
tal Models》 (Johnson-Laird 1983) 、《Elbow Room》 (Dennett 1984)、 《Body in the Mind》 (Johnson 
1987) 、 《Consciousness Explained》 (Dennett 1991) 以 及 《Darwin's Dangerous Ideay (Dennett 190$) 、 
《Prehistory of Android Epistemology》 (Glymour, Ford and Hayes 1995a) 和 《Sweet Dreems》 (Den- 
nett 2006 ) 。 
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也 可 以 参阅 一 些 原始 的 资料 ， 包 括 亚 里 士 多 德 的 《物理 学 》、《 形 而 上 学 》 和 《逻辑 学 》; 
Frege 的 论文 ; 以 及 巴 贝 奇 、 布 尔 和 罗素 与 怀 海德 的 著作 。 图 灵 的 论文 也 是 非常 值得 一 读 的 ， 特 
别 是 他 对 智能 特征 和 设计 智能 程序 可 能 性 的 讨论 (Turing 1950) 。 图 灵 1937 年 在 著名 的 论文 《 论 
可 计算 数 及 其 在 可 判定 性 问题 中 的 应 用 》 (On Computable Numbers , with an Application to the Ents- 
cheidungsproblem) 中 提出 了 图 灵机 理论 和 可 计算 性 的 定义 。 图 灵 的 传记 《阿兰 . 图 灵 ; 谜 》 
(Hodges 1983) 也 是 一 本 精彩 的 读物 。Selfridge 的 《万 魔 殿 》 (Pandemonium) (Selfridge 1959) 
是 个 早期 的 学 习 典 范 。 人 工 智 能 早期 文章 的 一 个 重要 汇总 可 以 在 Webber 和 Nilsson (1981) 中 
找到 。 

《Computer Power and Human Reason》 (Weizenbaum 1976) 和 《Understanding Computers and 
Cognition》 (Winograd and Flores 1986) 对 AI 的 不 足以 及 AI 中 的 伦理 问题 进行 了 冷静 的 评论 。 
《The Sciences of the Artificial》(Simon 1981) 对 人 工 智能 的 可 能 性 和 它 对 社会 的 作用 给 予 了 肯定 。 

1.2 节 中 所 提 到 的 AI 应 用 由 在 向 读者 介绍 AI 研究 者 的 广泛 兴趣 并 勾勒 出 一 些 正在 探索 的 重 
要 问题 。 每 个 小 节 都 在 介绍 主题 时 参考 了 原始 领域 资料 。《 人 工 智能 手册 》 ( Barr and Feigenbaum 
1989) 对 这 些 领域 进行 了 逐一 介绍 。《 Encyclopedia of Artificial Intelligence》 (Shapiro 1992) 对 人 
工 智能 领域 进行 了 清晰 全 面 的 分 析 。 

自然 语言 理解 是 AI 研究 的 一 个 活 著 领域 ， 以 下 著作 介绍 了 一 些 重要 的 观点 : 《Natural Lan- 
guage Understanding》 (Allen 1995)、 《Language as a Cognitive Process》 (Winograd 1983)、 《Com- 
puter Models of Thought and Language》 (Schank and Colby 1973)、 《Grammar, Meaning and the Ma- 
chine Analysis of Language》 (Wilks 1972)、《The Language Instinct》 (Pinker 1994)、 《Philosophy in 
the Flesh》 (Lakoff and Johnson 1999) 以 及 《Speech and Language Processing》 (Jurafsky and Martin 
2009) 。 本 书 的 第 7 章 和 第 15 章 讨论 了 这 一 领域 。 

本 书 第 17 章 简要 地 讨论 了 如 何 使 用 计算 机 对 人 类 的 行为 建 模 ， 以 下 著作 更 深入 地 讨论 了 这 
一 课题 :《Human Problem Solving》 (Newell and Simon 1972 ) 、《Computation and Cognition》 (Pyly- 
shyn 1984) 、《Arguments Concerning Representations for Mental Imagery》 (Anderson 1978 ) 、《 Cogni- 
tive Science: the Science of Intelligent Systems》 (Luger 1994 ) 、《Problem Solving as Model Refine- 
ment: Towards a Constructivist Epistemology》 (Luger et al. 2002) 以 及 《Bayesian Brain》 (Doya et 
al. 2007 ) 。 

机 器 学 习 在 第 四 部 分 讨论 ; 《Machine Learning》 合 集 (Michalski et al. 1983 ，1986 ; Kodratoff 
and Michalski 1990) 、《Journal of Artificial Intelligence》 和 《Journal of Machine Leaming》 都 是 关于 
这 一 主题 的 重要 资料 。 进 一 步 的 参考 文献 可 以 在 第 四 部 分 的 4 章 中 查找 。 

最 后 , 第 12 章 从 社会 和 自然 角度 探讨 了 智能 ， 这 一 观点 强调 了 智能 的 模块 化 结构 和 适应 性 。 
明 斯 基 的 《Society of Mind》( Minsky 1985) 是 最 早 提出 这 一 观点 和 最 有 思想 深度 的 著作 之 一 。 其 
他 著作 包括 《Android Epistemology》 (Ford et al. 1995b) 和 《Artificial Life》 (Langton 1995 ) 。 


1.5 习题 


1. 给 出 你 自己 对 人 工 智 能 的 定义 ， 并 说 明理 由 。 
2. 给 出 几 个 例子 来 说 明 亚 里 士 多 德 关 于 物质 和 形式 的 差异 。 并 说 明 你 的 例子 是 如 何 适应 一 种 抽象 理论 的 。 
3. 多 数 传统 的 宗教 思想 都 详细 地 论述 了 心身 〈mind-body) 的 关系 。 心 智 思想 和 身体 的 关系 是 : 

a) 以 某 种 方式 相互 作用 的 不 同 实体 。 

b) 心智 思想 是 “肉体 过 程 行 为 ”的 表达 。 

c) 身体 只 是 理性 思想 心智 的 幻影 。 

探讨 你 对 心身 问题 的 看 法 ， 以 及 这 一 问题 对 人 工 智 能 理论 的 重要 性 。 


9. 
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， 讨 论 图 灵 关 于 计算 机 软件 “智能 ”标准 的 不 足 。 
.描述 一 下 你 自己 的 计算 机 软件 “智能 ”标准 。 
虽然 计算 机 是 一 个 相当 新 的 学 科 ， 但 是 数 千 年 来 哲学 家 和 数学 家 都 在 思考 自动 问题 求解 中 所 涉及 的 问 


题 。 你 认为 这 些 哲 学 问题 和 智能 问题 求解 设备 的 设计 有 关系 吗 ? 为 什么 ? 


我 们 知道 人 类 大 脑 的 体系 结构 和 现代 计算 机 的 体系 结构 有 很 大 的 差异 ， 那么 你 认为 研究 生物 系统 的 生理 


结构 和 功能 对 建立 AI 程序 有 价值 吗 ? 为 什么 ? 


` 挑选 一 个 你 认为 最 富 挑 战 性 的 专家 系统 应 用 领域 ， 适 当地 展开 这 个 问题 。 根据 你 的 直觉 ， 这 个 问题 的 哪 


些 部 分 最 难以 自动 化 ? 
除了 书 中 列 出 的 优点 之 外 ， 再 列举 专家 系统 的 两 个 优点 。 从 智能 性 、 社会 性 和 经 济 性 的 角度 讨论 这 些 
优点 。 


10. 讨论 为 什么 说 机 器 “学 习 ” 问 题 是 非常 难 的 。 
11. 你 认为 计算 机 是 否 有 可 能 理解 并 使 用 自然 (人 类 ) 语言 ， 为 什么 ? 
12. 列举 并 讨论 人 工 智能 技术 对 社会 发 展 可 能 造成 的 两 种 负面 影响 。 
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关于 达 特 茅 斯 夏季 人 工 智能 研究 项 目的 一 项 提议 : 


我 们 提议 1956 年 夏天 在 新 汉 普 那 汉诺威 市 达 特 苏 斯 学 院 举 行 一 次 10 人 参加 为 期 两 个 月 的 人 
工 智 能 研讨 会 。 这 次 研讨 会 的 主题 是 建立 在 一 项 假设 的 基础 上 ， 即 原则 上 学 习 的 每 个 方面 或 智 
能 的 任何 特征 都 能 被 精确 地 描述 到 用 机 器 来 模拟 的 程度 。 我 们 将 探寻 如 何 制造 机 器 来 使 用 语言 ， 
将 其 抽象 化 和 概念 化 ， 解 决 目前 只 有 人 类 才能 解决 的 问题 ， 并 能 实现 自我 改进 。 我 们 相信 ， 精 选 
一 组 科学 家 共同 工作 一 夏天 ， 就 能 在 一 个 或 多 个 问题 上 取得 有 重大 意义 的 进展 。 

麦卡锡 (J. McCarthy) ， 达 特 茅 斯 学 院 
明 斯 基 (M. L Minsky) ， 哈 佛 大 学 

罗 彻 斯 特 (N，Rochester) ，IBM 公司 
香农 〈(C. E. Shannon) ， 贝 尔 语音 实验 室 
1955 年 8 月 31 日 


表示 与 搜索 简介 


从 工程 的 观点 来 看 ，1. 3 节 中 关于 人 工 智 能 的 描述 可 总 结 为 : 对 表示 和 搜索 的 研究 ， 通 过 这 
些 研究 ， 智 能 行为 将 在 机 械 设备 上 产生 。 这 个 观点 主导 了 人 工 智能 的 起 源 与 成 长 过 程 。 

人 工 智能 实践 者 们 的 第 一 个 现代 研讨 会 /学 术 会 议 于 1956 年 夏 在 达 特 茅 斯 学 院 举行 。 本 书 第 
二 部 分 的 介绍 就 是 引用 这 次 研讨 会 的 提议 。 这 次 研讨 会 选择 了 人 工 智能 作为 名 称 ， 聚 集 了 许多 
当时 专注 于 将 计算 和 智能 结合 的 研究 者 。 当 时 还 编写 出 了 几 个 计算 机 程序 来 表现 这 些 早 期 的 想 
法 。 我 们 精简 原始 的 会 议 提议 ， 列 出 这 次 会 议 讨 论 的 主要 议题 : 

1) 自动 计算 机 。 如 果 机 器 能 够 做 一 项 任务 ， 那 么 可 以 编程 让 自动 计算 器 模拟 这 人 台 机 器 。 

2) 如 何 通过 编程 让 计算 机 使 用 语言 。 可 以 这 样 推测 : 人 类 思维 的 很 大 部 分 是 按照 推理 规则 
和 猜测 规则 来 操纵 词句 。 

3) 神经 网 络 。 如 何 将 许多 〈 假 想 的 ) 神经 元 组 织 起 来 形成 概念 ? 

4) 计算 范围 理论 。 给 定 一 个 定义 明确 的 问题 〈 比 如 机 械 地 测试 给 出 的 一 个 答案 是 否 正 确 ) ， 
一 个 解决 方法 是 依次 尝试 所 有 可 能 的 答案 。 这 种 方法 是 效率 极 低 的 ， 必 须 有 某 种 评判 标准 才能 
除去 这 种 低 效 的 方法 。 

5) 自我 改进 (机 器 学 习 )。 或 许 一 台 真 正 智能 的 机 器 能 够 执行 一 些 自我 改进 的 行为 是 最 合 
适 的 说 法 。 

6) 抽象 概念 。 许 多 类 型 的 “抽象 概念 ”能 够 清楚 地 定义 ， 而 另外 一 些 不 够 清楚 。 尝 试 将 它 
们 区 分 出 来 ， 并且 机 器 方法 描述 从 感官 数据 和 其 他 数据 形成 抽象 概念 是 很 有 价值 的 。 

7) 随意 性 和 创造 性 。 有 一 个 非常 吸引 人 但 显然 不 完备 的 猜测 ， 即 创造 性 思维 和 缺乏 想象 力 
的 思维 之 间 的 区 别 在 于 随机 性 的 加 入 。 

值得 注意 的 是 ,第 一 次 人 工 智能 学 术 会 议 提议 的 主题 抓 住 了 许多 重要 问题 ,例如 复杂 性 理 
论 、 抽 象 概 念 的 方法 学 、 语 言 设计 和 机 器 学 习 ， 这 些 问题 构成 了 现代 计算 机 科学 关注 的 焦点 。 实 
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际 上 ， 计 算 机 科学 中 许多 今天 已 知 的 典型 定义 都 能 在 人 工 智能 中 找到 起 源 。 人 工 智 能 也 有 自身 
的 历史 和 策略 上 的 竞争 ， 早 期 提出 的 几 种 研究 主题 ， 如 “神经 网 络 ” 和 “随机 性 和 创造 性 ”, 已 
经 退 居 后 台数 十 年 了 。 | 

这 时 ,一 种 强 有 力 的 新 型 计算 工具 LISP 语言 出 现 了 。LISP 语言 是 在 约翰 ' 麦卡锡 的 指导 下 
开发 出 来 的 麦卡锡 是 达 特 们 斯 研讨 会 最 初 发 起 者 之 一 。LISP 着 重 解决 研讨 会 的 几 个 主题 ， 支 
持 创建 关系 的 能 力 ， 这 些 关 系 能 够 由 语言 的 其 他 结构 来 操纵 。LISP 为 人 工 智能 带 来 了 具有 很 高 
级 表达 能 力 的 语言 、 丰 富 的 抽象 ， 以 及 解释 表达 式 的 工具 。 

LISP 程序 设计 语言 的 有 效 性 促成 了 AI 早期 的 许多 进步 ， 特 别 是 作为 表达 工具 的 谓词 演算 和 
探测 不 同 逐 辑 选 择 效果 的 搜索 的 运用 ， 现 在 称 为 图 搜索 。 创 建 于 20 世纪 70 年 代 的 Prolog 为 人 工 
智能 提供 了 一 个 同样 强 有 力 的 计算 工具 。 

第 二 部 分 的 5 章 介绍 支持 人 工 智能 研究 的 基本 表示 法 和 搜索 技术 ， 具 体 包括 谓词 演算 、 图 搜 
索 、 启 发 式 和 随机 方法 以 及 用 于 智能 问题 求解 的 体系 结构 (控制 系统 ) 。 这 些 方法 反映 了 人 工 知 
能 领域 最 初 20 年 中 占 统治 地 位 的 技术 。 


表示 系统 


所 有 表示 模式 的 功能 都 是 要 捕捉 (通常 称 为 抽取 ) 问题 域 中 的 本 质 特 征 并 使 这 一 信息 能 够 
被 问题 求解 过 程 所 访问 。 抽 象 〔abstraction》 是 处 理 复杂 性 的 一 种 关键 工具 ， 也 是 保证 最 终 程序 
计算 高 效 性 的 一 个 重要 因素 。 表 现 力 (特征 抽取 的 结果 ) 和 效率 〈 特 征 抽取 算法 的 计算 复杂 度 ) 
是 评价 知识 表示 语言 的 主要 尺度 。 有 时 ， 为 了 提高 效率 必须 性 牲 表现 力 。 但 这 是 以 不 限制 捕 所 关 
键 的 问题 求解 知识 的 表示 能 力 为 前 提 的 。 因 此 ， 使 效率 和 表现 力 达到 最 佳 平 衡 是 智能 程序 设计 
者 的 一 个 主要 任务 。 

知识 表示 语言 也 是 帮助 人 类 求解 问题 的 工具 。 因 此 ， 表 示 应 该 为 表达 问题 求解 的 知识 提供 
_ 种 自然 框架 ; 它 应 该 使 这 些 知识 能 够 被 计算 机 所 使 用 并 有 助 于 程序 员 组 织 这 些 知识 。 

下 面 以 学 点 数 的 计算 机 表示 ( 见 图 古 -1) 为 例 来 说 明 这 种 平衡 。 通 常 ， 要 完全 描述 实数 
需要 无 限 位 ， 这 无 法 在 一 个 诸如 计算 机 这 样 的 有 限 设备 上 实现 。 对 于 这 个 问题 ， 一 种 解决 
方法 是 把 数字 表示 为 两 部 分 : 有 效 位 和 其 中 小 数 点 的 你 数 ， | 
位 置 。 尽 管 不 可 能 在 计算 机 中 实际 存储 一 个 实数 ， 但 
是 要 建 立 一 种 足以 满足 大 多 数 实践 应 用 的 表示 是 有 可 。 “等 从 的 1 进 制 数 


n 


3.1415926 . . . 


能 的 。 浮 点 表示 : 
在 这 个 例子 中 ， 浮 点 表示 为 了 效率 而 牺牲 了 完全 表 | 指数 

示 所 具有 的 表达 力 。 这 种 表示 也 允许 算法 进行 多 精度 的 尾数 

计算 ， 通 过 把 缩 碱 误差 限制 在 预先 指定 的 允许 范围 内 有 计算 机 站 中 的 圾 1110000 

效 实现 了 很 高 精度 。 它 还 保证 了 缩减 误差 得 到 很 好 处 理 。 图 T-1 实数 的 不 同 表示 


与 所 有 表示 一 样 ， 它 仅 是 一 种 抽象 ， 是 一 种 表征 实际 实 
体 的 符号 模式 ， 而 不 是 实体 本 身 。 

数组 是 计算 机 科学 中 另 一 种 常见 的 表示 。 对 于 很 多 问题 来 说 ， 它 比 计算 机 硬件 所 实现 的 内 
存 体系 结构 更 加 自然 和 高 效 。 这 种 在 自然 性 和 高 效 性 方面 的 优势 是 由 表示 力 的 折 中 换 来 的 ， 以 
下 图 像 处 理 的 例子 说 明了 这 一 点 。 图 工 2 是 人 类 基因 在 一 个 称 为 转 位 期 (metaphase) 的 阶段 中 
的 数字 图 像 。 现 在 要 处 理 这 幅 图 像 来 分 析 基 因 的 数量 和 结构 ， 并 寻找 断裂 、 残 缺 的 片段 和 其 他 
异常 。 . 

图 中 的 可 视 画面 是 由 很 多 个 图 像 点 组 成 的 。 而 且 每 个 图 像 点 〈 即 像素 ) 都 有 两 个 属性 : 位 
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置 和 表示 其 亮度 或 灰 度 的 一 个 数字 值 。 那 么 ， 很 自然 的 做 法 是 把 整 幅 画面 存 人 一 个 二 维 数组 ， 行 
和 列 的 地 址 对 应 像素 位 置 (X 和 YY 坐标 ) ， 数 组 元 素 的 内 容 是 对 应 点 的 灰 度 。 然 后 设计 算法 进行 
这 样 一 些 操作 : 寻找 孤立 点 以 去 除 图 像 中 的 噪声 ， 找 到 一 个 阔 值 来 辨识 对 象 和 边缘 ， 汇 总 邻接 的 
要 素 以 确定 大 小 或 密度 ， 以 其 他 方法 变换 像素 数据 。 如 果 确 定 了 这 种 数组 表示 和 一 种 程序 设计 
语言 (例如 FORTRAN) ， 那 么 实现 这 些 算法 是 很 简单 的 。 如 果 使 用 其 他 的 表示 〈 比如 谓词 演算 、 
记录 或 汇编 代码 ) ， 那 么 这 个 任务 就 会 非常 复杂 ， 因 为 这 些 表示 方法 与 被 表示 的 物质 间 不 存在 一 
种 自然 的 拟 合 。 





图 -2 染色 体 在 转 位 期 中 的 数字 图 像 


当 我 们 把 图 片 表示 为 像素 点 数组 时 ， 我 们 牺牲 了 优良 的 画 质 〈 好 比 报纸 上 的 照片 和 照片 的 
原版 在 品质 上 存在 很 大 的 差距 ) 。 此 外 ， 像 素数 组 不 能 表示 图 像 的 更 深层 语义 结构 。 例 如 ， 一 个 
像素 数组 不 能 表示 一 个 细胞 核 中 的 基因 结构 、 它 们 的 遗传 特征 或 者 转 位 期 对 细胞 分 裂 的 作用 。 
这 种 知识 更 易于 被 谓词 演算 ( 见 第 2 章 ) 和 语义 网 ( 见 第 7 章 ) 这 样 的 表示 来 捕捉 。 总 之 ， 表 
示 模 式 应 足以 表示 所 有 必要 信息 ， 支 持 最 终 代码 的 有 效 执行 ， 且 为 表示 所 需 的 知识 提供 一 个 自 
然 的 框架 。 

通常 ，AI 要 解决 的 问题 是 数组 这 样 的 传统 形式 所 无 法 解决 的 。 因 为 人 工 智能 更 加 关心 定性 
的 问题 求解 而 不 是 定量 的 问题 求解 ， 更 关心 推理 而 不 是 演算 数值 计算 ， 更 关心 如 何 组 织 庞大 的 
数量 变化 的 知识 而 不 是 实现 单一 的 已 经 具有 完善 定义 的 算法 。 

例如 ， 考 虑 图 工 -3 中 桌子 上 积木 的 摆 放 。 假 设 我 们 希望 获取 控制 机 械 
人 手臂 所 需 的 属性 和 关系 。 我 们 必须 确定 哪些 积木 块 位 于 其 他 积木 块 上 A 
面 ， 哪 些 积木 块 上面 是 空 的 可 以 抓 起 。 谓 词 演算 提供 了 一 种 获取 这 些 描 
述 信息 的 手段 。 每 个 表达 式 的 第 一 个 单词 (on、ontable 等 ) 都 是 一 个 谓 
词 ， 代 表 了 某 种 属性 或 其 参数 (出 现在 括号 中 ) 之 间 的 某 种 关系 。 人 参数 
是 表示 问题 域 中 对 象 (积木 ) 的 符号 。 下 面 的 一 系列 逻辑 语句 描述 了 这 图 -3 积木 世界 
个 积木 世界 中 的 重要 属性 和 关系 : 
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clear(c) 
clear(a) 
ontable(a) 
ontable(b) 
on(c, b) 
cube(b) 
cube(a) 
pyramid(c) 


谓词 演算 为 人 工 智能 程序 员 提 供 了 一 种 定义 完善 的 语言 ， 可 用 来 描述 和 推理 系统 定性 特征 。 
积木 世界 的 例子 中 ， 假 如 我 们 要 定义 一 个 测试 ， 来 确定 一 个 积木 块 上 方 是 否 是 clear 的 ， 即 没有 
东西 在 其 上 面 。 如 果 机 械 手 要 抓 起 它 或 将 另 一 块 积木 放 到 它 上 面 ， 这 个 测试 是 非常 重要 的 。 我 们 
可 以 定义 一 条 通用 规则 ; 

VX— 3Y on(YX) = clear(X) 


读 作 :“ 对 于 所 有 X， 如 果 不 存 在 一 个 Y 使 其 在 X 上 ， 那 么 X 是 clear 的 ”。 这 个 规则 可 以 用 于 各 
种 情况 ， 只 要 把 X 和 YY 替换 成 不 同 积木 块 的 名 字 (如 a、b、c， 等 等 )。 通 过 支持 通用 推理 规则 ， 
谓词 演算 使 得 表示 非常 精简 ， 并 使 设计 出 的 系统 有 足够 的 灵活 性 和 通用 性 ， 可 对 各 种 情况 做 出 
智能 反应 。 

谓词 演算 也 可 以 用 来 表示 个 体 与 群体 的 属性 。 例 如 ， 仅 通过 列 出 汽车 的 零件 来 描述 一 辆 汽 
车 是 不 够 的 ; 一 种 有 效 的 描述 必须 同时 包括 零件 的 组 合 方式 以 及 它们 之 间 的 相互 关系 。 这 种 结 
构 视 图 在 很 多 情况 下 都 是 十 分 重要 的 ， 这 些 情 况 包括 分 类 信息 (例如 通过 物种 来 分 类 植物 ) 、 复 
杂 对 象 的 描述 (例如 按照 其 组 成 部 分 来 描述 柴油 发 动机 或 人 体 )。 例 如 ， 对 蓝 圾 的 简单 描述 可 以 
是 “ 蓝 鸭 是 一 种 小 的 蓝 颜 色 鸟 ， 乌 是 一 种 有 羽毛 的 会 飞行 的 将 椎 动物 ”， 而 且 可 以 将 其 表示 为 一 
系列 逻辑 谓词 ; 

hassize(bluebird,small) 

hascovering(bird,feathers) 

hascolor(bluebird,blue) 

hasproperty(bird,flies) 

isa(bluebird,bird) 

isa(bird,vertebrate) 

也 可 以 不 使 用 谓词 描述 ， 而 是 通过 图 中 的 约 〈are) 或 连接 〈link) 实现 用 图 形 方式 表示 关 
系 〈( 见 图 下 -4) 。 这 种 语义 网 semantic network) 是 表示 语义 含义 的 一 种 技术 。 因 为 关系 是 在 图 
中 显 式 表示 的 ， 所 以 推理 算法 只 要 顺 着 连接 就 可 以 找 出 相关 的 联系 。 在 蓝 雹 的 例子 中 ， 系 统 只 需 
跟踪 一 个 连接 就 可 以 看 到 蓝 鸭 会 飞 ， 跟 踪 两 个 连接 就 可 以 确定 蓝 鹊 是 脊椎 动物 。 





飞行 
[7 hassize haspPolor 


图 I-4 蓝 转 的 语义 网 描述 
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语义 网 的 最 重要 应 用 也 许 就 是 在 语言 理解 程序 中 表示 语义 内 涵 。 当 需要 理解 童话 、 杂 志文 
章 的 细节 或 网 页 的 内 容 时 ， 就 有 必要 用 语义 网 对 反映 这 些 应 用 中 知识 的 信息 和 关系 进行 编码 。 
我 们 将 在 第 7 章 中 讨论 语义 网 ， 并 在 第 15 章 中 介绍 它 在 语言 理解 方面 的 应 用 。 


搜索 


有 了 表示 ， 智 能 问题 求解 的 第 二 个 组 成 部 分 就 是 搜索 。 人 类 在 求解 问题 时 通常 考虑 很 多 候 
选 策略 。 棋 手 一 般 要 考虑 很 多 可 选 走 法 ， 再 从 这 些 方案 中 选择 “最 佳 ”的 一 种 。 他 们 选择 的 根 
据 是 对 手 的 可 能 反应 或 不 同 走 法 对 某 个 全 局 策略 的 支持 程度 等 。 当 然 ， 棋 手 也 会 考虑 短期 的 收 
获 (比如 吃 掉 对 方 的 王后 ) ， 以 牺牲 一 个 棋子 来 取得 位 置 优势 的 机 会 ， 或 猜测 对 手 的 心理 素质 和 
技术 水 平 。 智 能 行为 的 这 一 特征 为 状态 空间 搜索 的 问题 求解 技术 黄 定 了 基础 。 

下 面 举 一 个 九宫 游戏 的 简单 例子 。 对 于 任何 给 定 的 棋盘 状态 ， 棋 手 仅 有 有 限 数量 的 走 法 。 从 
空 的 棋盘 开始 ， 第 一 个 棋 手 可 能 放 一 个 X 在 9 个 位 置 中 的 任 一 个 。 但 不 论 放 在 哪里 ， 留 给 对 手 
的 可 能 反应 都 是 8 种 ， 依 此 类 推 。 我 们 可 以 把 这 些 可 能 走 法 和 反应 用 图 表示 出 来 ， 每 一 种 棋盘 格 
局 作为 图 中 的 一 个 结 点 或 状态 。 图 的 连接 表示 从 一 种 棋局 到 另 一 种 棋局 的 合法 移动 。 这 样 产 生 
的 结构 被 称 为 状态 空间 图 (state space graph) 。 

状态 空间 表示 使 我 们 可 以 把 九宫 游戏 的 所 有 可 能 对 弈 过 程 看 成 是 穿 过 状态 空间 图 的 不 同 路 
径 。 有 了 这 个 表示 ， 一 种 有 效 博弈 策略 就 是 遍历 这 个 图 搜索 出 最 多 胜利 、 最 少 失败 的 路 径 ， 并 总 
是 尽 可 能 地 沿 这 些 最 优 路 径 之 一 移动 ， 如 图 卫 -5 所 示 。 


上 


并 振 扩 六 打 相间 六 庄 
A 
圭 畦 因 彰 章 霜 挤 井 音 打 昔 挤 


NS 


怪 理 球 新 音 困 种 若 拓 间 部 各 


HAA 改 NN 


图 -5 九宫 游戏 状态 空间 的 一 部 分 
为 了 说 明 如 何 使 用 搜索 解决 更 复杂 的 问题 ， 下 面 考虑 一 个 诊断 汽车 机 械 故 障 的 例子 。 尽 管 
这 个 问题 不 像 九宫 游戏 那样 容易 发 现状 态 空 间 搜索 的 使 用 ， 但 它 的 确 很 适合 这 种 策略 。 在 这 个 
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问题 中 ， 我 们 让 状态 空间 图 的 每 个 结 点 不 再 表示 一 个 “棋盘 状态 ”， 而 让 它 表示 汽车 机 械 故 障 的 
一 部 分 知识 。 我 们 可 以 把 分 析 故 障 症状 和 归纳 故障 起 因 的 过 程 看 成 是 对 渐 增 的 知识 状态 的 搜索 。 
这 个 图 的 起 始 结 点 是 空 的 ， 这 表示 还 根本 不 知道 问题 的 起 因 。 修 理工 做 的 第 一 件 事 可 能 是 询问 
客户 哪 一 个 主要 系统 发动机、 传动 装置 、 转 向 装置 、 刹 车 等 ) 看 起 来 出 了 问题 。 图 E -6 用 起 
始 状态 到 代表 汽车 某 一 独立 子 系统 状态 的 一 系列 弧 表 示 出 了 这 个 过 程 。 


起 始 询 问 : 
哪里 出 了 问题 ? 






ee 图 -6 诊断 汽车 故障 第 一 步 的 状态 空间 描述 

图 中 的 每 个 状态 都 有 弧 (对 应 于 基本 的 诊断 检查 ) 指向 表示 诊断 过 程 中 进一步 知识 积累 的 
状态 。 例 如 ,“ 发 动机 故障 ” 结 点 有 连接 到 标 有 “发 动机 启动 ”和 “发 动机 不 启动 ” 结 点 的 颖 。 
从 “不 启动 ” 结 点 我 们 可 以 移动 到 标 有 “旋转 ”和 “不 旋转 ”的 结 点 。 从 “不 旋转 ” 结 点 有 连 
接 到 标 有 “电池 用 尽 ” 和 “电池 良好 ” 结 点 的 弧 ， 见 图 区 -7。 问 题 求解 过 程 可 以 通过 从 这 幅 图 
中 搜索 出 一 条 与 损坏 车 辆 的 症状 相 吻合 的 路 径 来 诊断 这 辆 车 的 故障 。 尽 管 这 个 问题 与 寻找 九宫 
游戏 或 国际 象棋 的 最 佳 玩法 的 问题 差异 很 大 ， 但 是 同样 能 使 用 状态 空间 搜索 来 求解 它 。 


起 始 询问 : 
哪里 出 了 问题 ? 


发 动机 故障 传动 装置 刹车 
询问 : 询问 : ……。 询问 : ……- 
汽车 启动 吗 ? 7 aR 
是 否 
发 动机 不 启动 
询问 : 
发 动机 旋转 吗 ? 





图 -7 汽车 诊断 问题 的 状态 空间 描述 
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尽管 看 起 来 似乎 无 所 不 包 , 但 是 状态 空间 搜索 本 身 无 法 独立 完成 自动 智能 问题 求解 行为 ， 
相反 它 只 是 智能 程序 设计 的 一 个 重要 工具 。 如 果 状 态 空 间 搜索 能 够 独立 完成 ， 那么 写 一 个 下 棋 
程序 是 相当 简单 的 ， 只 要 遍历 整个 空间 找到 获胜 的 走 法 序列 就 可 以 了 。 这 种 问题 求解 方法 称 为 
穷 举 搜索 (exhaustive search) 。 尽 管 穷 举 搜索 可 以 应 用 到 任何 状态 空间 ， 但 实际 问题 对 应 的 空间 
可 能 惊人 的 庞大 ， 这 使 得 这 种 方法 在 实践 中 不 可 行 。 例 如 ， 国 际 象棋 大 约 有 10“ 种 不 同 的 棋盘 
状态 。 这 个 数字 比 字 宙 中 的 分 子 数 或 自从 大 爆炸 以 来 过 去 的 纳 秒 数 还 大 。 搜 索 这 样 大 的 空间 远 
远 超 过 了 任何 计算 设备 的 能 力 ， 因 为 任何 设备 的 尺度 都 以 已 知 的 宇宙 为 极限 ， 而 且 它 的 执行 过 
程 必须 在 字 宙 崩溃 前 完成 。 

人 类 使 用 智能 搜索 : 棋 手 考虑 很 多 可 能 的 走 法 ， 医 生 分 析 几 种 可 能 的 诊断 ， 计 算 机 科学 家 在 
开始 编码 前 要 深思 熟 虑 不 同 的 设计 。 但 是 人 类 不 使 用 穷 举 式 搜 索 ， 棋 手 仅 分 析 经 验 表 明 有 效 的 
走 法 ， 医 生 不 需要 做 与 患者 症状 无 关 的 检验 。 因 此 ， 人 类 求解 问题 似乎 是 以 一 些 判断 性 规则 为 基 
础 的 ， 这 些 规则 使 我 们 的 搜索 仅 寻 找 状态 空间 中 那些 似乎 最 “奏效 ”的 部 分 。 

这 些 规则 被 称 为 启发 ， 这 是 AI 研究 的 中 心 课题 之 一 。 启 发 (这 个 名 字 来 源 于 希腊 语 中 的 
“to discover”) 是 有 所 选择 地 搜索 问题 空间 的 策略 。 它 引导 搜索 沿 高 成 功 概率 的 路 线 前 进 ， 避 人 免 
做 多 余 或 明显 轧 训 的 努力 。 人 类 在 求解 问题 时 使 用 大 量 启发 。 如 果 你 问 一 个 修理 工 为 什么 你 的 
轿车 过 热 ， 她 可 能 说 一 些 像 这 样 的 话 , “这 通常 意味 着 自动 调 温 器 坏 了 。” 如 果 你 问 医生 什么 会 
导致 恶心 和 胃痛 ， 他 可 能 会 说 “不 是 胃炎 ， 就 是 食物 中 毒 ”。 

状态 空间 搜索 为 我 们 提供 了 一 种 形式 化 问题 求解 过 程 的 手段 ， 启 发 使 我 们 可 以 为 这 个 过 程 
注入 智能 。 本 书 的 前 些 章节 详细 地 讨论 了 这 些 技术 ， 而 且 在 大 多 数 现代 AI 研究 中 它们 始终 处 于 
核心 地 位 。 概 括 地 讲 ， 状 态 空间 搜索 是 独立 于 任何 特定 搜索 策略 的 一 种 形式 ， 被 用 做 很 多 问题 求 
解 途径 的 切入 点 。 

本 书 自始至终 都 在 从 不 同 角度 探索 知识 表示 和 搜索 的 理论 以 及 如 何 使 用 这 一 理论 建立 有 效 
的 程序 。 对 知识 表示 的 讨论 是 从 第 2 章 的 谓词 演算 开始 的 。 第 3 章 以 博弈 图 和 其 他 应 用 为 背景 介 
绍 搜索 。 在 第 4 章 ， 我 们 介绍 启发 ， 并 用 它 来 实现 图 搜索 ， 包 括 博弈 。 在 第 5 章 ， 我 们 介绍 随机 
(概率 ) 技术 来 建立 和 组 织 搜 索 空 间 ; 这 些 方法 在 后 面 的 机 器 学 习 和 自然 语言 处 理 部 分 将 用 到 。 
最 后 ， 第 6 章 介 绍 建立 智能 问题 求解 器 需要 的 产生 式 系统 、 黑 板 和 其 他 软件 体系 结构 。 
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我 们 正在 逐步 掌握 推理 的 能 力 ， 并 最 终 使 之 成 为 我 们 自己 的 才能 ; 因为 推理 并 不 是 一 种 天 
赋 ， 而 是 需要 漫长 而 艰苦 的 努力 才能 够 具备 的 一 种 才能 。 
一 一 C. S. 皮尔 斯 


证 明 的 本 质 在 于 使 人 信服 。 
一 费 马 


2.0 简介 


在 这 一 章 中 ， 我 们 介绍 谓词 演算 (predicate caleulus) ， 它 是 用 于 人 工 智 能 的 一 种 表示 语言 。 
谓词 演算 的 重要 性 已 经 在 第 二 部 分 的 介绍 中 有 所 提 及 ， 它 的 优点 包括 明确 定义 的 形式 语义 
(formal semantics) 以 及 可 靠 (sound) 和 完备 (complete) 的 推理 规则 。 在 这 一 章 中 我 们 首先 简 
要 《可 选 ) 介绍 命题 演算 (2. 1 节 ) 。 然 后 在 2. 2 节 中 定义 谓词 演算 的 语法 和 语义 。 在 2.3 节 中 
讨论 谓词 演算 推理 规则 和 它们 在 问题 求解 中 的 用 法 。 最 后 ， 实 现 一 个 投资 建议 知识 库 ， 用 于 演示 
谓词 演算 的 应 用 。 


2.1 命题 演算 (选读 ) 


2.1.1 符号 和 语句 


命题 演算 和 下 一 节 要 讨论 的 谓词 演算 是 所 有 语言 的 基础 。 使 用 它们 的 单词 、 短 语 和 语句 ， 我 
们 可 以 表示 和 推理 客观 世界 的 属性 和 关系 。 描 述 一 种 语言 的 第 一 步 应 该 介绍 组 成 它 的 片段 ， 即 
它 的 符号 集 。 

定义 (命题 演算 符号 ) ”命题 演算 的 符号 包括 命题 符号 : 

P, Q, R, S, … 
真 值 符号 : 

true ，false 
和 连结 词 : 

人 一 ;, 一 了 , 三 

命题 符号 表示 命题 或 对 世界 的 陈述 ， 它 可 能 是 真 的 也 可 能 是 假 的 ， 比 如 “ 那 辆 轿车 是 红色 
的 ”或 “水 是 湿 的 ”"。 英 语 字母 表 靠近 末尾 的 大 写字 母 表示 命题 。 命 题 演算 中 的 语句 是 由 这 些 原 
子 符号 根据 以 下 规则 组 成 的 。 


定义 (命题 演算 语句 ) ”每 个 命题 符号 和 真 值 符号 都 是 一 条 语句 。 
例如 : true、P、Q 和 RR 都 是 语 身 。 

语句 的 非 (negation) 是 一 条 语句 。 

例如 : 一 P 和 =” false 是 语句 。 

两 条 语句 的 合 取 (conjunction) 或 与 (and) 是 一 条 语句 。 

例如 :; PA~P 是 一 条 语句 。 

两 条 语句 的 析 取 (disjunction) 或 或 (or) 是 一 条 语句 。 
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例如 : PV~ PP 是 一 条 语句 。 

一 条 语句 对 另 一 条 的 蕴涵 (implication) 也 是 一 条 语句 。 
例如 : P 一 Q 是 一 条 语句 。 

两 条 语句 的 等 价 (equivalence) 是 一 条 语句 。 

例如 ; PVQ=R 是 一 条 语句 。 

会 法 的 语句 又 被 称 为 合式 公式 (well-formed formula) 或 WFF。 


在 PAQ 形式 的 表达 式 中 ，P 和 Q 被 称 为 合 取 项 (conjunct)。 在 PV Q 形式 的 表达 式 中 , P 
和 Q 被 称 为 析 取 项 (disjunct)。 在 蕴涵 P-Q 中 ，P 是 前 提 (premise) 或 者 叫 前 项 (anteced- 
ent) ; 所 是 结论 〈(conclusion) 或 者 叫 后 项 (consequent) 。 

在 命题 演算 语句 中 , 符号 ( ) 和 [ ] 用 来 把 符号 组 合成 为 子 表达 式 ， 从 而 控制 计 值 顺序 和 
含义 。 例 如 ，(PVQ) =R 与 PV(Q=R) 是 完全 不 同 的 ， 利 用 真 值 表 可 以 看 出 它们 的 不 同 ， 参 见 
2.1.2 节 。 

一 个 表达 式 是 命题 演算 的 一 条 语句 或 合式 公式 ， 其 充 要 条 件 是 ， 它 是 由 合法 的 符号 按 上 述 
规则 的 某 个 序列 来 形成 的 。 例 如 : 


((PAQ)—R)=- PV- QVR 
是 命题 演算 的 一 条 合式 语句 ， 因 为 : 


P\Q 和 有 是 命题 符号 ， 因 此 它们 都 是 语句 。 
PAQ 是 两 条 语句 的 合 取 ， 是 一 条 语句 。 

(PAQ) 一 R 是 一 条 语句 蕴涵 另 一 条 语句 ， 所 以 也 是 一 条 语 和 多。 
”~P 和 =- Q 是 语句 的 非 ， 都 是 语句 。 

~ PV- Q， 两 条 语句 的 析 取 是 一 条 语句 。 

-PV- QVR， 两 条 语句 的 析 取 是 一 条 语 向 。 
((PAQ) 一 R) =-PV- QVR 是 两 条 语句 的 等 价 ， 是 一 条 语 身 。 


这 就 是 我 们 的 原始 语句 ， 它 是 通过 应 用 一 系列 的 合法 规则 来 构建 的 ， 所 以 是 合式 的 well- 


formed ) 。 
2. 1. 2 命题 演算 的 语义 


2.1. 1 节 通 过 定义 产生 合法 语句 的 一 系列 规则 给 出 了 命题 演算 的 语法 。 在 这 一 节 中 ， 我 们 形 
式 化 地 定义 这 些 语句 的 语义 (semantic) ， 或 者 说 “含义 "。 因 为 AI 程序 必须 借助 它们 的 表示 结 
构 进行 推理 ， 所 以 证 实 推理 结论 的 真实 性 仅 依赖 于 用 于 推理 的 初始 知识 或 前 提 的 正确 性 ， 这 一 
点 是 非常 重要 的 〈 即 推理 过 程 没有 引入 逻辑 错误 ) 。 对 语义 的 精确 分 析 是 实现 这 个 目标 的 关键 。 

一 个 命题 符号 对 应 于 对 世界 的 一 种 陈述 。 例 如 ，P 可 能 代表 “正在 下 十 ”这 一 陈述 ; Q 可 
能 代表 “我 家 的 房子 是 褐色 的 ”。 一 个 命题 要 么 是 真 要 么 是 假 ， 给 出 了 世界 的 某 种 状态 。 为 命题 
语句 赋 真 值 被 称 为 解释 〈interpretation) ， 即 关于 它们 在 某 个 可 能 世界 的 一 个 断言 。 

严格 地 讲 ， 解 释 就 是 把 命题 符号 映射 到 集合 {T,F}。 正 如 上 一 小 节 提 到 的 ,符号 true 和 
false 是 命题 演算 的 合式 语句 集 的 组 成 部 分 ， 它们 不 同 于 赋 给 语 甸 的 真 值 。 为 了 明确 这 种 差异 ， 
在 真 值 赋值 时 使 用 符号 TT 和 FF。 

对 命题 的 每 一 种 可 能 真 值 赋值 对 应 于 解释 的 一 种 可 能 世界 。 例 如 ,如果 P 指称 命题 “正在 
下 雨 " ，Q 指称 “我 在 工作 ”， 那 么 命题 集合 {P, Q} 到 真 值 集合 {T, F} 有 4 种 不 同 的 映射 。 这 些 映 
射 对 应 于 4 种 不 同 的 解释 。 命 题 演算 的 语义 和 它 的 语法 一 样 是 通过 归纳 来 定义 的 : 
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定义 (命题 演算 语义 ) “对 一 个 命题 集合 的 解释 就 是 为 每 一 个 命题 符号 赋 真 值 ， 要 么 是 下 ， 
要 么 是 下 。 

符号 true 的 赋值 总 是 下 ， 符 号 false 的 赋值 总 是 F。 

语句 的 解释 (也 就 是 真 值 ) 按 以 下 原则 决定 : 

。 非 " 的 真 值 是 这 样 的 ;, -= P， 其 中 已 是 任意 命题 符号 ， 如 果 对 已 的 赋值 是 T， 那 么 对 =- P 
的 赋值 是 F; 如 果 对 PP 的 赋值 是 F， 那么 对 -=P 的 赋值 是 T。 

e 仅 当 两 个 合 取 项 的 真 值 都 是 T 时 ， 合 取信 的 真 值 是 T， 否 则 是 下 。 

9 仅 当 两 个 析 取 项 的 真 值 都 是 F 时 ， 析 取 V 的 真 值 是 F， 否 则 是 下 。 

。 仅 当 蕴涵 一 的 前 提 ( 即 冀 涵 前 面 的 符号 ) 是 和 而 且 后 项 ( 即 冀 涵 后 面 的 符号 ) 是 F 时， 
冀 涵 的 真 值 时 下 ， 否则 是 下。 

es 仅 当 等 价 三 两 边 表 达 式 对 于 所 有 可 能 解释 都 有 相同 真 值 时 ， 等 价 的 真 值 是 T， 否 则 是 下 。 


经 常 使 用 真 值 表 (truth table) 来 描述 复合 命题 的 真 值 赋值 。 真 值 表 列 出 了 对 表达 式 原 子 命 
题 的 所 有 可 能 赋值 ， 并 给 出 对 于 每 一 种 可 能 赋值 而 言 表 达 式 的 真 值 。 因 此 ， 真 值 表 枚 举 了 一 个 表 
达 式 解释 的 所 有 可 能 情况 。 例 如 图 2-1 是 PAQ 的 真 值 表 ， 列 出 了 对 操作 数 的 每 一 种 可 能 赋值 而 
言 表达 式 的 真 值 。 从 表 中 可 以 看 出 ， 仅 当 P 和 昌都 是 T 时 ，PAQ 是 真 。 可 以 用 类 似 的 方式 定 
义 或 (V)、 非 〈(” )、 蕴 涵 (一 ) 和 等 价 〈=) 。 这 些 真 值 表 作 为 练习 留 给 大 家 来 做 。 

在 命题 演算 中 ， 两 个 表达 式 等 价 的 条 件 是 对 于 任何 赋值 ， 它 们 的 真 值 都 相同 。 可 以 使 用 真 值 
表 来 证 实 这 种 等 价 性 。 例 如 ， 图 2-2 中 的 真 值 表 证 明了 PQ 和 -PV 人 Q 的 等 价 性 。 


P Q -Pp -PvQ P=Q (PvyQ)=(P =Q) 





图 2-1 操作 符 人 的 真 值 表 图 2-2 证 实 P-Q 和 -PV Q 等 价 性 的 真 值 表 

通过 显示 命题 演算 中 两 个 不 同 语句 有 相同 的 真 值 表 ， 我 们 可 以 证 明 以 下 等 价 性 。 对 于 命题 
表达 式 PQ 和 R: 

-~ (= P)=P 

(PVQ)=(- P 一 O) 

换 质 换 位 定律 ; (P 一 Q) =(- Q 一 ” P) 

德 . 摩根 定律 : = (PVQ)=(- PA- QQ) 和 - (PAQ)=(- PV- Q) 

交换 律 : (PAQ)=(QAP) 和 (PVQ)=(QVP) 

结合 律 ; ((PAQ) AR)=(PA(QAR)) 

结合 律 : ((PVQ) VR)=(PV(QVR)) 

分 配 律 : PV(QAR)=(PVQ)A(PVR) 

分 配 律 : PA(QVR)=(PAQ)V(PAR) 


可 以 利用 像 这 样 的 恒等式 把 命题 演算 变换 成 语法 不 同 但 逻辑 等 价 的 形式 。 也 可 以 利用 这 些 
恒等式 代替 真 值 表 来 证 明 两 个 表达 式 的 等 价 性 : 通过 一 系列 恒等式 把 一 个 表达 式 变换 成 另 一 个 
表达 式 。 一 个 早期 的 AI 程序 ，Newel、Simon 和 Shaw 设计 的 逻辑 理论 家 (Logic Theorist) (New- 
ell and Simon 1956 ) ， 使 用 表达 式 间 的 恒 等 变 换 ， 证 明了 Whitehead 和 Russell 的 《数学 原理 》 
(1950) 中 的 很 多 定理 。 有 些 推 理 规则 (2. 3 节 中 的 假 言 推理 和 第 14 章 中 的 归结 ) 要 求 表 达 式 必 
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须 为 某 种 特定 的 形式 ， 这 时 把 一 个 逻辑 表达 式 变 成 具有 等 价 真 值 的 不 同形 式 的 能 力也 是 很 重 
要 的 。 


2.2 谓词 演算 


在 命题 演算 中 ， 每 个 原子 符号 (P.Q， 等 等 ) 表示 一 个 命题 。 我 们 没有 办 法 做 到 判断 断言 
的 各 个 部 分 。 谓 词 演算 提供 了 这 种 能 力 。 例 如 ， 不 再 是 让 一 个 命题 符号 P 表示 整个 句子 “星期 
二 下 了 雨 ”， 而 是 创建 一 个 谓词 weather 来 描述 日 子 和 天 气 的 关系 : weather( tuesday, rain) 。 我 
们 通过 推理 规则 可 以 操纵 谓词 演算 表达 式 ， 判 断 它 的 每 个 组 成 成 分 ， 并 且 推 理 出 新 的 语句 。 

谓词 演算 还 允许 表达 式 中 含有 变量 。 变 量 使 我 们 可 以 建立 关于 实体 类 的 通用 断言 。 例 如 ， 我 
们 可 以 声明 对 于 所 有 的 X 值 ， 其 中 X 是 某 一 周 的 一 天 ， 陈 述 weather(X, rain) 是 真 的 ; 也 就 是 说 
这 一 周一 直下 雨 。 和 讨论 命题 演算 一 样 ， 我 们 先 定义 这 种 语言 的 语法 ， 然 后 讨论 它 的 语义 。 


2. 2. 1 谓词 的 语法 和 语句 


在 定义 谓词 演算 中 正确 表达 式 的 语法 之 前 ， 我 们 先 定义 字母 表 和 创建 这 种 语言 所 用 符号 
(symbol) 的 语法 。 这 对 应 于 一 种 程序 设计 语言 的 词法 部 分 。 谓 词 演 算 的 符号 与 程序 设计 语言 中 
的 记号 (token) 一 样 是 不 可 约 简 的 语法 元 素 : 不 可 用 语言 中 的 操作 把 它们 拆散 为 更 小 的 部 分 。 

在 本 书 中 ,我 们 把 谓词 演算 符号 表示 为 字母 和 以 字母 开始 的 字母 数字 串 。 空 格 和 字母 与 数 
字 之 外 的 字符 不 可 以 出 现在 串 中 ,但 下 划 线 字符 〈(_ ) 例外 ， 因 为 它 可 以 提高 可 读 性 。 

定义 (谓词 演算 符号 ) 用 以 构成 谓词 演算 符号 的 字符 表 由 以 下 3 部 分 组 成 : 

1) 英文 字母 ， 包 括 大 写 和 小 写 。 

2) 数字 0，1，…，9。 

3) 下 划 线 _ 。 

谓词 演算 的 符号 以 字母 开始 ， 后 面 可 以 跟 有 这 些 合法 字符 的 任意 序列 。 

谓词 演算 符号 字符 表 中 的 合法 字符 包括 : 

aR69Pp_z 

不 在 这 个 字符 表 中 的 字符 例子 包括 : 

#%@/& 

合法 的 谓词 演算 符号 包括 : 

George fire3 tom_ and_ jerry bill XXXX friends_ of 

下 面 的 字符 串 实例 不 是 合法 的 谓词 演算 符号 : 

3jack no blanks allowed ab%cd ** *71 duck! !! 


在 2.2.2 节 中 ， 我们 会 看 到 符号 被 用 来 表示 所 讨论 世界 中 的 对 象 、 属 性 或 关系 。 与 大 多 数 程 
序 设 计 语言 相同 ， 使 用 能 够 暗示 出 符号 潜在 含义 的 “单词 ”作为 符号 有 助 于 理解 程序 代码 。 因 
此 ， 即 使 Kg,k 和 likes(george, kate) 形式 上 是 等 价 的 〈 也 就 是 它们 有 相同 的 结构 ) ， 但 是 《对 
人 类 阅读 者 而 言 ) 第 二 种 非常 有 助 于 指出 表达 式 所 表示 的 关系 。 必 须 强调 ， 这 些 描述 性 的 名 字 
完全 是 为 了 提高 表达 式 的 可 读 性 。 谓 词 表达 式 可 以 具有 的 惟一 含义 必须 通过 它们 的 正式 语义 来 
确定 。 

括号 “()”、 逼 导 “, ”和 句点 “. ”只 是 用 于 构建 合式 表达 式 ， 不 表示 论 域 中 的 对 象 或 关 
系 。 这 些 符号 被 称 为 不 规范 符号 (improper symbol) 。 

谓词 演算 符号 可 以 表示 变量 (variable)、 常 量 (constant)、 辑 数 (function) 或 谓词 《predi- 
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cate) 中 的 任 一 种 。 常 量 名 是 世界 中 的 特定 对 象 和 属性 。 常 量 符号 必须 以 小 写字 母 开 始 。 因 此 
george、tree、tall 和 blue 是 合式 常量 符号 的 例子 。 常 量 true 和 false 被 保留 作为 真 值 符号 。 

恋 量 符号 用 于 指 代 世 界 中 的 一 类 对 象 或 属性 。 变 量 是 用 以 大 写字 母 开 始 的 符号 来 表示 的 。 
因此 George .BILL 和 KAte 是 合法 的 变量 ， 而 geORGE 和 bill 不 是 合法 的 变量 。 

谓词 演算 还 允许 使 用 所 讨论 世界 中 对 象 的 函数 。 函 数 符 号 〈 像 常量 ) 以 小 写字 母 开 始 。 函 
数 表示 一 个 集合 〈 称 为 函数 的 定义 域 (domain) ) 中 的 一 个 或 多 个 元 素 到 另 一 个 集合 〈 称 为 函数 
的 值 域 (range) ) 中 的 一 个 元 素 的 映射 。 定 义 域 和 值 域 中 的 元 素 是 所 讨论 世界 中 的 对 象 。 除 了 加 
和 乘 这 样 的 常见 算术 函数 外 ， 还 可 以 定义 非 数 字 域 间 映 射 的 函数 。 

请 注意 ， 我 们 对 谓词 演算 符号 的 定义 不 包括 数字 或 算术 操作 符 。 数 字 系 统 没有 包含 在 谓词 
演算 原 语 中 ; 相反 可 以 利用 “ 纯 ” 谓 词 演算 作为 基础 把 它们 定义 为 公理 〈Manna and Waldinger 
1985) 。 尽 管 这 种 推导 的 细节 是 很 有 理论 研究 乐趣 的 ， 但 是 对 于 把 谓词 演算 用 做 AI 的 一 种 表示 语 
言 来 说 ， 这 些 推导 是 不 太 重 要 的 。 为 了 方便 ， 我 们 采用 这 种 推导 并 把 算术 运算 包含 在 这 种 语 
言 中 。 

”每 个 函数 符号 有 一 个 与 之 联系 的 元 数 (arity) ， 这 个 元 数 指出 被 映射 到 值 域 中 每 个 元 素 的 定 
义 域 中 的 元 素 个 数 。 因 此 father 可 能 表示 一 个 元 数 为 1 的 函数 ， 把 人 映射 到 他 们 的 《惟一 的 ) 
双亲 中 的 男性 。plus 可 能 是 一 个 元 数 为 2 的 函数 ， 把 两 个 数字 映射 到 它们 的 代数 和 。 

函数 表达 式 (function expression) 是 带 有 参数 的 函数 符号 。 参 数 是 函数 定义 域 中 的 元 素 ; 参 
数 的 数量 等 于 函数 的 元 数 。 参 数 用 括号 括 起 来 ， 并 用 逗号 分 隔 。 例 如 : f(X,Y) ,father( david) 、 
price(bananas) 都 是 合式 的 函数 表达 式 。 

每 一 个 函数 表达 式 把 参数 映射 到 值 域 中 的 一 个 元 素 ， 称 为 函数 的 值 。 例 如 ， 如 果 father 是 一 
个 元 数 为 1 的 函数 ,那么 father( david) 是 一 个 函数 表达 式 ， 它 的 值 〈 在 笔者 讨论 的 世界 中 ) 为 
george。 如 果 plus 是 一 个 元 数 为 2 的 函数 ， 且 它 的 定义 域 为 整数 ， 那 么 plus(2, 3) 是 一 个 值 为 整 
数 5 的 函数 表达 式 。 把 函数 代 换 为 它 的 值 的 行为 叫做 求 值 。 

谓词 演算 符号 或 项 的 概念 可 以 总 结 为 以 下 的 定义 : 

定义 (符号 和 项 ) 谓词 演算 符号 包括 : 

1) 真 值 符号 true 和 false (这 是 保留 符号 ) 。 

2) 常量 符号 是 以 小 写字 母 开始 的 符号 表达 式 。 

3) 变量 符号 是 以 大 写字 母 开始 的 符号 表达 式 。 

4) 函数 符号 是 以 小 写字 母 开始 的 符号 表达 式 。 函数 具有 附带 的 元 数 用 以 指出 被 映射 到 值 域 
中 每 一 元 素 的 定义 域 的 元 素 个 数 。 

函数 表达 式 .是 由 元 数 为 n 的 一 个 函数 常量 ， 后跟 用 括号 包围 并 用 逗号 分 隔 的 n 个 参数 项 t， 
t,…,, 组 成 的 。 

谓词 演算 项 是 常量 、 变 量 或 函数 表达 式 中 的 一 种 。 

因此 ,谓词 演算 项 可 以 用 来 表示 问题 域 中 的 对 象 和 属性 。 例 如 : 


cat 

times(2, 3) 

X 

blue 

mother( sarah) 
kate 
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谓词 演算 中 的 符号 也 可 以 表示 谓词 。 谓 词 符号 像 常量 和 函数 名 一 样 是 以 小 写字 母 开始 的 。 
谓词 名 是 世界 中 的 0 个 或 多 个 对 象 间 的 关系 。 这 样 联系 起 来 的 对 象 数 是 谓词 的 元 数 。 例 如 以 下 都 
是 谓词 : 

likes equals on near part_ of 


原子 语句 (atomic sentence) 是 谓词 演算 语言 中 的 最 基本 单位 ， 它 是 元 数 为 n 的 谓词 ， 后 跟 
以 用 括号 包围 并 且 逼 号 分 隔 的 n 个 参数 项 。 原 子 语句 的 例子 包括 : 


likes(george,kate) likes(X,george) 

likes(george,susie) likes(X,X) 

likes(george,sarah,tuesday) friends(bill,richard) 

friends(bill,george) friends(father_of(david),father_of(andrew)) 
helps(bill,george) helps(richard ,bill) 


在 这 些 表 达 式 中 ,谓词 符号 是 likes、friends 和 helps。 可 以 给 一 个 谓词 符号 提供 不 同 数量 的 参 
数 。 在 这 个 例子 中 ， 有 两 个 不 同 的 likes， 一 个 有 2 个 参数 ， 另 一 个 有 3 个 参数 。 当 语句 中 使 用 不 
同 元 数 的 谓词 符号 时 ， 应 该 将 其 视 为 表示 两 种 不 同 的 关系 。 因 此 一 个 谓词 关系 是 由 它 的 名 字 和 
元 数 定义 的 。 虽 然 没 有 理由 说 两 个 不 同 的 likes 不 可 以 表示 对 世界 某 一 部 分 的 相同 描述 ， 但 是 我 
们 要 避免 这 样 做 ， 因 为 这 样 经 常会 产生 混乱 。 

在 上 面 的 谓词 中 ，bill .george、kate 等 是 常量 符号 ， 表 示 问 题 域 中 的 对 象 。 谓 词 的 参数 是 谓 
词 项 ， 而 且 也 可 以 包含 变量 或 函数 表达 式 。 例 如 : 


friends( father_of( david) , father_of(andrew) ) 


是 一 个 谓词 ， 它 描述 了 所 讨论 域 中 的 两 个 对 象 之 间 的 关系 。 这 些 参数 被 表示 为 函数 表达 式 ， 它 们 
的 映射 结果 (给 定 father_of david 是 george 和 father_of andrew 是 allen) 是 谓词 的 参数 。 如 果 
求 值 这 个 函数 表达 式 ， 表 达 式 就 变 成 

friends( george, allem) 

这 些 思 想 可 以 用 以 下 定义 表述 。 

定义 (谓词 和 原子 语句 ) 谓词 符号 是 以 小 写字 母 开始 的 符号 。 

谓词 有 一 个 与 之 关联 的 正 整数 ， 被 称 为 谓词 的 元 数 或 “参数 个 数 "” 。 具 有 相同 名 字 但 不 同 元 
数 的 谓词 被 视 为 是 不 同 的 谓词 。 

原子 语句 是 元 数 为 n 的 谓词 常量 ,后 跟 以 用 括号 包 图 并 用 运 号 分 隔 的 nn 个 谓词 项 t,t,,…, to 

真 值 true 和 false 也 是 原子 语句 。 


原子 语句 又 被 称 为 原子 表达 式 、 原 子 或 命题 。 

我 们 可 以 使 用 逻辑 操作 符 结 合 原子 语句 来 形成 谓词 演算 中 的 语句 。 这 些 逻 辑 连接 词 和 命题 
演算 中 使 用 的 逻辑 连接 符 是 一 样 的 ， 它 们 分 别 是 : 人 A、V、”、 一 和 一。 

当 变量 是 以 语句 中 的 参数 形式 出 现时 ， 它 是 指定 义 域 中 未 确定 的 对 象 。 一 阶 〈 见 2.2.2 节 ) 
谓词 演算 包括 两 个 变量 量词 (variable quantifier) 符号 V 和 习 ， 约 束 包 含 变量 的 语句 的 含义 。 量 
词 出 现在 一 个 变量 和 一 条 语 名 之前， 比如: 

3Y fnends(Y, peter) 

VX likes( X, ice_cream) 


全 称 量词 (universal quantifier) VY 指出 其 后 的 语句 对 于 变量 的 所 有 值 为 真 。 例 子 中 ，YVX 
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likes(X, ice_cream) 对 于 X 定义 域 中 所 有 值 为 真 。 存在 量词 (existential quantifer) 习 ， 指 出 至 少 
对 于 定义 域 中 的 一 个 值 语句 为 真 。 对 于 了 Y friends( Y, peter) ， 如 果 至 少 存在 一 个 Y 所 表示 的 对 
象 是 peter 的 friend， 那 么 这 个 语句 就 为 真 。 在 2. 2.2 节 中 会 更 加 详细 地 讨论 量词 。 

谓词 演算 中 的 语句 按 以 下 方式 归纳 定义 。 


定义 (谓词 演算 语句 ) 每 一 条 原子 语句 都 是 一 条 语 身 。 

1) 如 果 SS 是 一 条 语句 ， 那 么 它 的 非 ~ s 是 一 条 语句 。 

2) 如 果 S| 和 ss 是 语句 ， 那 么 它们 的 合 取 S| 人 s,， 是 一 条 语句 。 
3) 如 果 S; 和 ss 是 语句 ， 那 么 它们 的 析 取 Si V S。 是 一 条 语句 。 
4) 如 果 S| 和 ss 是 语句 ， 那 么 它们 的 蕴涵 si 一 s。 是 一 条 语句 。 
5) 如 果 S| 和 ss 是 语句 ， 那 么 它们 的 等 价 5S, =S。 是 一 条 语 身 。 
6) 如 果 欠 是 一 个 变量 ，S 是 一 条 语句 ， 那 么 VXS 是 一 条 语句 。 
7) 如 果 炙 是 一 个 变量 ，Ss 是 一 条 语句 ， 那 和 勾 ] Xs 是 一 条 语句。 


下 面 给 出 一 些 合式 语句 的 例子 。 设 times 和 plus 是 元 数 为 2 的 函数 符号 ; equal 和 foo 分 别 
是 元 数 为 2 和 3 的 谓词 符号 。 


plus(two, three) 是 一 个 函数 ， 因 此 它 不 是 一 条 原子 语句。 

equal( plus(two, three) ,five) 是 一 条 原子 语句。 

equal( plus(2, 3) , seven) 是 一 条 原子 语句 。 注 意 : 如 果 plus 和 equal 使 用 标准 的 解释 ， 那 么 
这 条 语句 是 假 的 。 合 式 性 和 真 值 是 两 个 独立 的 问题 。 

3jX foo( X, two, plus(two, three)) Aequal( plus( two, three) , five) 是 一 条 语句 ， 因 为 两 个 合 取 
项 都 是 语句 。 

(foo (two, two, plus( two, three) )) 一 (equal( plus( three, two) ,five) =true) 是 一 条 语句 ， 因 为 
它 的 所 有 部 分 都 是 语句 ， 并 使 用 逻辑 操作 符 恰 当地 连接 起 来 。 


刚刚 给 出 的 谓词 演算 语句 的 定义 和 实例 指出 了 检验 一 个 表达 式 是 否 是 语句 的 一 种 方法 。 可 
以 把 这 种 方法 写成 一 个 递归 的 算法 verify_sentence。verify_sentence 以 一 个 候选 表达 式 作为 参 
数 ， 如 果 表 达 式 是 一 条 语句 就 返回 success。 


function verify_sentence(expression); 
begin 
Case 
expression is an atomic sentence: return SUCCESS; 
expression is of the form Q X s, where Q is eitherVor 3, X is a variable, 
if verify_sentence(s) returns SUCCESS 
then return SUCCESS 
else return FAIL; 
expression is of the form 一 s: 
if verify_sentence(s) returns SUCCESS 
then return SUCCESS 
else return FAIL; 
expression is of the form s; op sx Where op is a binary logical operator: 
if verify_sentence(s') returns SUCCESS and 
verify_sentence(s,) returns SUCCESS 
then return SUCCESS 
else return FAIL; 
otherwise: return FAIL 
end 
end. 
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我 们 举 一 个 使 用 谓词 演算 来 描述 一 个 简单 世界 的 例子 结束 这 一 小 节 。 论 域 是 圣经 家 谱 中 的 
一 组 家 族 关系 : 

mother(eve,abel) 

mother(eve,cain) 


father(adam,abel) 
father(adam,cain) 


VX VY father(X, Y) v mother(X, Y) 一 parent(X, Y) 

YXYYYZparent(X,Y) ^ parent(X, Z) 一 sibling(Y, Z) 

在 这 个 例子 中 ， 我 们 使 用 谓词 father 和 mother 定义 了 一 系列 亲子 关系 。 这 里 的 蕴涵 语句 利 
用 这 些 谓词 给 出 了 其 他 关系 比如 parent 和 sibling) 的 一 般 定义 。 很 明显 ， 可 以 使 用 这 些 荀 涵 推 
理 出 像 sibling( cain, abel) 这 样 的 事实 。 为 了 用 公式 表示 这 个 过 程 使 其 可 以 在 计算 机 中 进行 ， 必 
须 小 心 定义 推理 算法 ,而 且 要 保证 这 样 的 算法 确实 可 以 从 一 系列 谓词 演算 断言 中 得 出 正确 的 结 
论 。 为 了 做 到 这 一 点 ， 我 们 先 定义 谓词 演算 的 语义 ( 见 2.2.2 节 )， 然 后 再 讨论 推理 规则 ( 见 
2.3 节 )。 


2.2.2 谓词 演算 的 语义 


在 定义 谓词 演算 的 合式 表达 式 之 后 ， 重 要 的 是 用 世界 中 的 对 象 、 属 性 和 关系 确定 它们 所 
表示 的 含义 。 谓 词 演 算 语义 提供 了 决定 合式 表达 式 真 值 的 形式 基础 。 表 达 式 的 真 值 依赖 于 常 
量 、 变 量 、 谓 词 和 函数 讨论 域 中 的 对 象 和 关系 的 映射 。 论 域 中 关系 的 真 值 决 定 了 对 应 表达 式 
的 真 值 。 

例如 ， 关 于 一 个 人 George 和 他 的 朋友 Kate 和 Susie 的 信息 可 以 表示 为 


friends( george, susie) 
friends( george, kate) 


如 果 George 是 Susie 的 朋友 而 且 George 是 Kate 的 朋友 这 些 确实 都 是 真 的 ， 那 么 这 两 个 表达 式 每 一 
个 的 真 值 (赋值 ) 都 是 T。 如 果 George 是 Susie 的 朋友 而 不 是 Kate 的 朋友 ， 那 么 第 一 个 表达 式 的 
赋值 是 T， 第 二 个 的 赋值 是 F。 

为 了 使 用 谓词 演算 作为 问题 求解 的 一 种 表示 ， 我 们 用 一 系列 合式 表达 式 来 描述 解释 域 中 的 
对 象 和 关系 。 这 些 表 达 式 的 项 和 谓词 表示 了 域 中 的 对 象 和 关系 。 谓 词 演算 表达 式 (每 个 的 真 值 
都 是 T) 的 这 种 数据 库 描述 了 “世界 的 状态 ”。 对 George 和 他 的 朋友 的 描述 是 这 样 的 数据 库 的 一 
个 简单 例子 。 另 一 个 例子 是 在 第 二 部 分 的 简介 中 给 出 的 积木 世界 的 例子 。 

基于 这 些 直觉 的 认识 ， 下 面 我 们 形式 地 定义 谓词 演算 的 语义 。 首 先 我 们 定义 在 论 域 D 上 的 
解释 。 然 后 使 用 这 种 解释 确定 语言 中 语句 的 真 值 赋值 (truth value assignment ) 。 

定义 (解释 ) 设 论 域 D 是 非 空 的 集合 。 

D 上 的 解释 就 是 DD 中 的 实体 对 谓词 演算 表达 式 的 每 个 常量 、 交 量 、 谓 词 和 肖 数 符号 的 指派 。 
具体 来 说 : 

1) 把 每 个 常量 指派 为 D 中 的 一 个 元 素 。 

2) 把 每 个 变量 指派 为 D 中 的 一 个 非 空 子 集 ; 这 些 是 对 变量 允许 进行 的 置换 。 

4 3) 把 每 个 元 数 为 m 的 函数 f 定 义 在 口 的 m 个 参量 之 上 并 定义 一 种 从 D" 到 的 路 射 
”4) 把 每 个 元 数 为 n 的 谓词 p 定义 在 D 的 nn 个 参量 之 上 并 定义 一 种 从 DD" 到 {T,F} 的 映射 。 


给 定 一 种 解释 ， 表 达 式 的 含义 就 是 对 解释 所 赋 的 真 值 。 
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定义 〈 谓 词 演算 表达 式 的 真 值 ) 假定 E 是 一 个 表达 式 ， 1 是 E 在 非 空 定义 域 D 上 的 解释 。 
E 的 真 值 由 以 下 方式 决定 ， 

1) 常量 的 值 是 1 所 指派 的 口 的 元 素 。 

2) 变量 的 值 是 1 所 指派 的 口 的 元 素 集 合 。 

3) 函数 表达 式 的 值 是 口 的 一 个 元 素 ， 这 个 元 素 通过 对 由 解释 | 所 指派 的 参数 值 汞 值 函 数 的 
方式 获得 。 

4) 真 值 符号 “true” 的 值 是 T, “false” 的 值 是 F。 

5) 原子 语句 的 值 要 么 是 T， 要 么 是 F， 这 是 由 解释 | 决定 的 。 

6) 如 果 语 名 的 值 是 F， 那 么 它 的 非 的 值 是 下 ; 如 果 语 名 的 值 是 T， 那 么 它 的 非 的 值 是 F。 

7) 如 果 两 个 语句 的 值 都 是 下 ， 那么 它们 的 合 取 的 值 是 TT， 和 否则 是 下 。 

8 ~10) 使 用 VY .一 和 于 的 表达 式 的 真 值 是 根据 它们 的 操作 数 的 值 按 2.1.2 节 中 的 定义 决 
定 的 。 

最 后 ， 对 于 变量 X 和 含有 X 的 语句 5: 


11) 如 有 果 在 解释 1 之 下 对 X 的 所 有 赋值 S 都 是 T， 那 么 V XS 的 值 是 T， 否 则 是 下。 
12) 如 果 在 解释 中 存在 一 个 对 X 的 赋值 使 S 的 值 为 T， 那 么 习 XS 的 值 是 T， 否 则 是 F。 


变量 的 量化 是 谓词 演算 语义 的 一 个 重要 部 分 。 当 一 个 变量 出 现在 语句 中 时 ， 比 如 X 出 现在 
likes( george, X) 中 时 ， 变 量 的 作用 只 是 占 位 符 。 可 以 用 解释 所 允许 的 任何 常量 来 替换 表达 式 中 
的 变量 。 把 likes( george, X) 中 的 X 替换 为 kate 或 susie， 便 形成 了 之 前 我 们 看 到 的 陈述 likes 
(george, kate) 和 likes (george，susie) 。 

变量 X 代表 了 可 以 出 现在 语句 的 第 二 个 参数 位 置 的 所 有 常量 。 这 个 变量 名 可 以 替换 为 任何 
一 个 其 他 的 变量 名 ， 比 如 Y 或 PEOPLE， 而 且 不 会 改变 表达 式 的 含义 。 由 于 这 个 原因 ， 这 种 变 
量 被 称 为 唾 元 ( dummy) 。 在 谓词 演算 中 ， 量 化 变量 的 方式 有 以 下 两 种 : 全 称 量化 和 存在 量化 。 
如 果 一 个 变量 集 既 不 在 全 称 量词 内 又 不 在 存在 量词 内 ， 那 么 它 被 认为 是 自由 的 。 如 果 表 达 式 的 
所 有 变量 都 是 量化 了 的 ， 那么 它 被 认为 是 封闭 的 。 一 个 基 表 达 式 (ground expression) 根本 不 存 
在 变量 。 在 谓词 演算 中 ， 所 有 的 变量 都 必须 被 量化 。 

经 常 使 用 括号 来 表示 量化 的 范围 ， 也 就 是 量化 所 控制 的 一 个 变量 名 的 多 个 实例 。 因 此 对 于 
表明 全 称 量化 的 符号 V : 


VX (p(X) Vq(Y) 一 r(X) ) 


表示 在 p(X) 和 K(X) 中 X 都 是 全 称 量 化 的 。 

全 称 量 化 给 计算 语句 的 真 值 带 来 了 问题 ， 因 为 必须 测试 变量 符号 的 所 有 可 能 值 以 观察 表达 
式 是 否 始终 为 真 。 例 如 ， 为 了 测试 表达 式 YX likes(george, X) 的 真 值 ， 其 中 X 的 范围 是 所 有 人 
的 集合 ， 必 须 测 试 X 的 所 有 可 能 值 。 如 果 解 释 的 域 是 无 限 的 ， 那 么 穷 举 式 地 测试 一 个 全 称 量化 
变量 的 所 有 替换 在 计算 方式 上 是 不 可 能 的 : 算法 也 许 永 远 不 会 停止 。 由 于 这 个 问题 ， 这 个 谓词 演 
算 被 称 为 是 不 可 判断 的 《undecidable) 。 由 于 命题 演算 不 使 用 变量 ， 因 此 语句 仅 有 有 限 数量 的 可 
能 真 值 赋 值 ， 从 而 我 们 可 以 穷 举 式 地 测试 所 有 可 能 的 赋值 。 这 是 真 值 表 所 要 完成 的 工作 ( 见 2.1 
节 )。 

如 2. 2.1 节 所 述 ， 变量 也 可 以 被 存在 量化 ， 用 符号 3 表明 存在 量词 。 在 这 种 情况 下 ， 包 含 变 
僵 的 表达 式 至 少 对 于 来 自 定义 域 的 一 个 蔡 换 是 真 的 。 被 存在 量化 的 变量 的 范围 也 是 通过 把 变量 
的 量化 取 值 包围 在 括号 中 来 表明 的 。 

求解 一 个 含有 存在 量化 变量 的 表达 式 的 真 值 可 能 不 比 求解 含有 全 称 量化 变量 的 表达 式 简 单 。 


如 2 但 谓词 洗 划 和 





假定 我 们 试图 决定 这 种 表达 式 的 真 值 ， 方 法 是 用 实例 替代 变量 直到 找到 使 表达 式 为 真 的 一 个 替 
换 。 如 果 变 量 的 定义 域 是 无 限 的 ， 而 且 对 于 所 有 替换 表达 式 都 是 假 的 ， 那 么 这 个 算法 永远 不 会 
结束 。 

下 面 给 出 了 全 称 量 词 和 存在 量词 与 否定 词 之 间 的 几 种 关系 。 这 些 关 系 将 用 于 第 14 章 中 介绍 
的 归结 反驳 (resolution refutation) 系统 中 。 还 该 注意 用 变量 名 作为 三 元 符号 来 代表 一 个 常量 集合 
的 思想 。 对 于 谓词 p 和 9 以 及 变量 X 和 Y: 


-3Xp(X)=vVX-— p(X) 
~vXp(X)=3X— p(X) 

3X p(X)=3Y p(Y) 

VX q(X)=vY q(Y) 

VX (p(X) ^ 9q(X))= VX p(X) AVY q(Y) 
3X (p(X) v q(X)) =3X p(X) v3Y qv) 


在 我 们 已 经 定义 的 语言 中 ， 全 称 量 化 变量 和 存在 量化 变量 仅 可 以 指 论 域 中 的 对 象 〈 常 量 )。 
谓词 和 函数 名 不 可 以 被 量化 变量 所 替换 。 这 种 语言 被 称 为 一 阶 谓 词 演算 。 


定义 〈 一 阶 谓词 演算 ) 一 阶 谓词 演算 (first-order predicate calculus) 允许 量化 变量 指向 论 
域 中 的 对 象 ， 不 允许 指向 谓词 或 水 数 。 


例如 ， 
YI(Likes)Likes(george, kate) 


不 是 一 阶 谓词 演算 中 的 合式 表达 式 。 在 高 阶 谓词 演算 中 ， 这 样 的 表达 式 是 有 意义 的 。 一 些 研究 人 
员 (McCarthy 1968 ，Appelt 1985) 已 经 使 用 高 阶 语言 来 表示 自然 语言 理解 程序 中 的 知识 。 

使 用 一 阶 谓词 演算 中 的 符号 、 连 接 词 和 变量 符号 可 以 表示 很 多 语法 正确 的 英文 语句 。 必 须 
注意 ; 从 句子 到 谓词 演算 表达 式 的 映射 是 不 惟一 的 ; 实际 上 ， 一 个 英文 语句 可 以 有 任意 数量 的 不 
同 谓词 演算 表示 。AI 程序 员 的 一 个 主要 难题 就 是 寻找 一 种 使 用 这 些 谓 词 的 表示 模式 ， 使 最 终 表 
示 的 表现 力 和 效率 最 优 。 以 下 是 一 些 用 谓词 演算 来 表示 英文 语句 的 例子 ; 


如 果 星 期 一 不 下 雨 » Tom 会 去 登山 o 

— weather(rain, monday) 一 go(tom, mountains) 
Emma 是 一 只 德国 种 的 短 毛 猎犬 ， 而 且 是 一 只 好 犬 。 
gooddog(emma) ^ isa(emma， doberman) 

所 有 篮球 运动 员 都 很 高 。 | 

Vv X (basketball_player(X) 一 tall(X)) 

一 些 人 嘉 欢 凤 尾 鱼 。 

3 X (person(X) ^likes(X, anchovies)) | 
如 果 愿 望都 能 实现 ， 乞 丐 早 就 发 财 了 ; 愿望 不 能 代替 实际 。 
equal(wishes, horses) 一 ride(beggars) 

没 人 喜欢 纳税 。 

— 3X likes(X, taxes) 
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2. 2. 3 ”语义 含义 的 积木 世界 例子 


我 们 通过 一 个 为 一 系列 谓词 演算 表达 式 赋 真 值 的 例子 来 结束 这 一 节 的 内 容 。 假 定 我 们 想 为 
图 2-3 中 的 积木 世界 建 模 ， 比 如 说 设计 一 个 机 械 手 的 控制 算法 。 我 们 可 以 使 用 谓词 演算 语句 来 表 
示 这 个 世界 中 的 定性 关系 : 一 个 给 定 积木 的 上 表面 是 否 为 空 ? 我 们 是 否 可 以 拿 起 积木 a 等 等 
假定 计算 机 掌握 了 每 块 积木 和 机 械 手 位 置 的 知识 ， 并 且 当 机 械 手 在 桌面 上 把 积 林 移 来 移 去 时 能 
够 跟踪 这 些 位 置 (使 用 三 维 坐标 ) 。 

我 们 必须 非常 明确 我 们 打算 在 这 个 “积木 世界 ”的 例 上 | 四 四 
子 中 做 些 什么 。 首 先 ， 我 们 创建 一 系列 谓词 演算 表达 式 来 表 
示 这 个 “积木 世界 ”问题 域 的 静态 快照。 我 们 将 在 第 2.3 四 四 
节 中 看 到 ， 这 个 积木 的 集合 为 这 一 系列 谓词 演算 表达 式 提供 


了 一 种 解释 和 一 个 可 能 的 模型 (model) 。 on(cal 
其 次 ， 谓 词 演算 是 说 明 性 的 〈deelarative) ， 也 就 是 说 ， te) 
考虑 每 个 表达 式 时 不 假定 计时 或 顺序 。 虽 然 如 此 ， 但 是 在 本 ontabte(d) 
书 第 8.4 节 的 对 规划 方法 的 讨论 中 ， 我们 将 加 入 “过 程 语 or 
义 ”， 也 就 是 相对 时 间 对 这 些 表达 式 求 值 的 特定 方法 。 谓 词 hand_empty 
演算 表达 式 的 过 程 语义 的 具体 事例 之 一 就 是 14.3 节 中 的 ”图 2-3 带 有 谓词 演算 描述 的 一 个 
Prolog 。 我 们 现在 创建 的 这 种 情景 演算 会 有 很 多 问题 ， 包 括 积木 世界 


框架 问题 (frame problem) 和 你 辑 表 示 的 不 单一 (non-mono- 
tonicity) 问题 ， 这 些 都 是 本 书后 面 章节 要 论述 的 问题 。 然 而 对 于 这 个 例子 ， 只 要 知道 我 们 的 谓词 
演算 表达 式 是 按 从 上 到 下 、 从 左 到 右 的 方式 求解 就 足够 了 。 

要 搬 起 一 块 积木 并 把 它 堆 在 另 一 块 积 木 上 面 ， 那 么 两 块 积木 的 上 表面 都 必须 是 空 的 。 在 图 
2.3 中 ， 积 木 a 不 是 空 的 。 因 为 机 械 手 可 以 搬 动 积木 ， 所 以 它 可 以 改变 这 个 世界 的 状态 ， 使 一 块 
积木 的 上 表面 为 空 。 假 若 它 把 积木 c 从 a 上 移 去 并 更 新 知识 库 来 反映 这 个 变化 ， 也 就 是 删除 断言 
on(c, a) 。 程 序 应 该 能 够 推理 出 a 的 上 表面 已 经 变 为 空 。 

下 面 的 规则 描述 了 积木 上 表面 为 空 的 状态 : 


VX(-3Y on(Y,X) — clear(X)) 


也 就 是 说 ， 对 于 所 有 X， 如 果 不 存在 一 个 Y 在 X 上 , 那么 X 的 上 表面 就 是 空 的 。 

这 个 规则 不 仅 定义 了 积木 为 空 的 含义 ， 而 且 为 决定 如 何 清理 不 为 空 的 积木 提供 了 基础 。 例 
如 ， 积 本 d 不 为 空 ， 因 为 如 果 变 量 X 的 值 为 d， 那 么 用 b 替换 YY 会 使 上 面 规则 的 结果 为 假 。 所 
以 ， 要 使 这 个 定义 为 真 ， 必 须 把 积木 b 从 d 上 移 开 。 因 为 计算 机 记录 了 所 有 积木 和 它们 的 位 置 ， 
所 以 这 是 容易 完成 的 。 

除了 使 用 蕴涵 来 定义 积木 为 空 的 状态 外 ， 还 可 以 加 入 其 他 的 规则 来 描述 像 堆 一 块 积木 到 男 
__ 块 积木 上 这 样 的 操作 。 例 如 ， 要 把 X 堆 在 Y 上 ， 先 空 出 机 械 手 ， 然 后 清理 X， 然 后 清理 Y， 再 
搬 起 (pick-up) X 并 放 到 (put-down) Y 上 。 

vyXVY((hand empty A clear(X) 人 clear(Y) Apick_up(X) A put_down( X,Y)) 一 stack(X,Y)) 

注意 ; 在 实现 上 面 的 描述 时 ， 有 必要 为 每 个 像 pick_up(X) 这 样 的 谓词 “附加 ”一 个 机 械 手 
动作 。 正 像 刚才 所 指出 的 ， 对 于 这 样 的 实现 必须 扩充 这 个 谓词 演算 的 语义 ， 指 出 需要 精确 地 按 规 


则 中 的 出 现 顺序 来 执行 动作 。 然 而 ， 把 这 些 问题 从 使 用 谓词 演算 来 定义 论 域 中 的 关系 和 操作 中 
分 离 出 来 是 很 有 好 处 的 。 


舅 2 香 谓词 将 章 ”好 








图 2-3 中 给 出 了 对 这 些 谓词 演算 表达 式 的 一 种 语义 解释 。 这 个 解释 把 表达 式 中 的 常量 和 谓词 
映射 到 论 域 D， 也 就 是 这 里 的 积木 和 它们 之 间 的 关系 。 解 释 将 真 值 赋值 给 描述 中 的 每 个 表达 
式 。 还 可 以 给 出 其 他 的 解释 ， 比 如 另 一 位 置 的 不 同 积木 集合 ， 或 者 或 许 用 一 个 4 人 的 杂技 队 也 可 
以 。 重 要 的 问题 不 是 解释 的 惟一 性 ， 而 是 解释 是 否 可 以 给 出 所 有 表达 式 的 真 值 ， 以 及 这 些 表达 式 
能 否 足 够 细致 地 描述 这 个 世界 ， 从 而 可 以 通过 操纵 这 些 符号 表达 式 进行 所 有 必要 的 推理 。 下 一 
节 使 用 这 些 思想 来 给 出 谓词 演算 推理 规则 的 一 个 正式 基础 。 


2. 3 ”使 用 推理 规则 产生 谓词 演算 表达 式 


2. 3.1 推理 规则 


谓词 演算 的 语义 为 逻辑 推理 (logical inference) 的 形式 理论 提供 了 基础 。 从 一 系列 真实 断言 
推理 出 新 的 正确 表达 式 的 能 力 是 谓词 演算 的 一 个 重要 功能 。 衡 量 这 些 新 表达 式 正 确 的 标准 是 它 
们 与 对 原始 表达 式 集合 的 所 有 以 前 解释 是 一 致 的 〈consistent) 。 我 们 先 非 形式 化 地 讨论 这 些 思 
想 ， 然 后 再 创建 一 些 定义 使 其 精确 化 。 

如 果 一 种 解释 使 一 条 语句 为 真 ， 那 么 就 说 它 满 足 这 条 语句 。 如 果 一 个 解释 满足 表达 式 集 
合 中 的 所 有 成 员 ， 那 么 就 说 它 满足 这 个 集合 。 如 果 满 足 谓词 演算 表达 式 集合 S 的 所 有 解释 也 
满足 表达 式 X， 那 么 就 说 X 逻辑 派生 (logically follow) S。 这 个 概念 为 验证 推理 规则 的 正确 性 
提供 了 基础 ;因为 到 辑 推理 的 功能 就 是 要 产生 人 逻辑 派生 一 个 给 定 的 谓词 演算 语句 集合 的 新 语 
句 。 理 解 远 辑 派生 的 准确 含义 是 很 重要 的 : 对 于 表达 式 X， 如 果 它 要 逻辑 派生 S， 那 么 它 必须 对 
于 满足 原始 表达 式 集合 S 的 所 有 解释 都 是 真 的 。 举 例 来 说 ， 这 意味 着 ， 加 入 到 图 2-3 的 积木 世界 
的 新 的 谓词 演算 表达 式 必 须 对 那个 世界 是 真 的 ， 而 且 对 于 那个 表达 式 集合 可 能 有 的 其 他 解释 也 
是 真 的 。 

“逻辑 派生 ”这 个 术语 本 身 可 能 有 点 令 人 误解 。 它 并 不 意味 X 是 从 S 演绎 出 的 ， 或 可 以 从 
S 演绎 。 它 仅 意味 着 对 于 满足 S 的 所 有 解释 (可 能 无 限 多 ) X 都 是 真 的 。 然 而 。 因为 谓词 
系统 可 能 潜在 具有 无 限 数量 的 可 能 解释 ， 所 以 试验 所 有 的 解释 是 不 太 可 行 的 。 相 反 ， 推 理 
规则 (inference rule) 提供 了 计算 上 可 行 的 方法 ,来 决定 一 个 表达 式 (解释 的 一 个 部 分 ) 何 
时 逻辑 派生 那个 解释 。“ 逻辑 派生 ” 的 概念 为 证 明 推理 规则 的 合理 性 和 正确 性 提供 了 形式 
基础 。 

推理 规则 在 本 质 上 是 一 种 从 其 他 语句 产生 新 的 谓词 演算 语句 的 机 械 方式 。 换 句 话 来 说 ， 推 
理 规 则 是 基于 给 定 逻 辑 断 言 的 语法 形式 来 产生 新 的 语句 。 当 推 理 规则 从 逻辑 表达 式 集合 S 产生 
的 每 一 条 语句 都 逻辑 派生 自 S 时 ， 我 们 就 说 这 个 推理 规则 是 可 靠 的 。 

如 果 推 理 规则 能 够 产生 所 有 从 S 逻辑 派生 的 表达 式 ， 那么 就 说 这 个 推理 规则 是 完备 的 。 下 
面 要 介绍 的 假 言 推理 (modus ponens) 和 第 11 章 中 要 介绍 的 归结 (resolution) 是 可 靠 的 推理 规 
则 的 例子 ， 而 且 当 与 合适 的 应 用 策略 一 起 使 用 时 它们 也 是 完备 的 。 虽然 后 面 几 章 (第 4、9 和 15 
章 ) 中 讨论 启发 式 推 理 和 常识 推理 ， 但 是 逻辑 推理 系统 通常 都 使 用 可 靠 的 推理 规则 ， 启 发 式 推 
理 和 常识 推理 中 任何 一 个 均 可 以 满足 需求 。 

下 面 把 这 些 思想 形式 化 表达 为 如 下 的 定义 。 

定义 〈 满 足 、 模 型、 有 效 、 不 一 致 ) 对 一 个 谓词 演算 表达 式 X 和 一 种 解释 上 |: 

如 果 在 1 下 存在 一 个 特定 的 变量 赋值 使 X 的 值 为 T， 那么 就 说 | 满足 X。 

如 果 对 于 所 有 的 变量 赋值 来 说 1 都 满足 X， 那 么 就 说 1 是 X 的 一 个 模型 (model)。 

X 是 可 满足 的 (satisfiable) ， 当 且 仅 当 存 在 一 种 满足 它 的 解释 和 变量 赋值 ， 否 则 它 是 不 可 满 
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足 的 (unsatisfiable ) 。 
一 个 表达 式 集合 是 可 满足 的 ， 当 且 仅 当 存 在 满足 所 有 元 素 的 一 种 解释 和 变量 赋值 。 
如 果 表 达 式 集合 不 是 可 满足 的 ， 那 么 就 说 它 是 不 一 致 的 (inconsistent ) 。 
如 果 对 于 所 有 的 可 能 解释 来 说 X 的 值 都 为 T， 那 么 就 说 X 是 有 效 的 (valid) 。 


在 图 2-3 积木 世界 的 例子 中 ， 积 木 世 界 是 揭示 它 的 逻辑 描述 的 一 个 模型 。 在 这 个 解释 下 ， 例 
子 中 的 所 有 语句 都 是 真 的 。 当 把 一 个 知识 库 实现 为 一 系列 问题 域 的 真实 断言 时 ， 这 个 域 是 这 个 
知识 库 的 一 个 模型 。 

表达 式 3X (p(X) 和 A- P(X)) 是 不 一 致 的 ， 因 为 在 任何 解释 或 变量 赋值 下 它 都 不 能 被 满足 。 
而 表达 式 YX (p(X) V ~ P(X)) 是 有 效 的 。 

可 以 使 用 真 值 表 来 测试 任何 不 包含 变量 的 表达 式 的 有 效 性 。 因 为 并 不 总 是 可 以 决定 含有 变 
量 表 达 式 的 有 效 性 (如 上 面 所 提 到 的 ， 这 个 过 程 可 能 永 不 终止 ) ， 所 以 完全 的 谓词 演算 是 “不 可 
决定 的 ” 。 然 而 ， 存 在 可 以 产生 逻辑 派生 自 一 个 表达 式 集合 的 任何 表达 式 的 证 明 过 程 。 这 被 称 为 
完备 证 明 过 程 。 

定义 〈 证 明 过 程 ) ”证明 过 程 (proof procedure) 是 推理 规则 和 应 用 这 个 规则 到 还 辑 表达 式 
的 集合 以 产生 新 的 语句 算法 的 结合 。 

我 们 将 在 第 11 章 中 给 出 归结 推理 规则 的 证 明 过 程 。 

使 用 这 些 定义 ， 我 们 可 以 形式 化 地 定义 “逻辑 派生 ”。 

定义 (到 辑 派生 、 可 靠 的 和 完备 的 ) 

如 果 满 足 谓词 演算 表达 式 集合 S 的 所 有 解释 也 满足 谓词 演算 表达 式 X， 那么 X 逻辑 派生 
自 S。 

如 果 一 个 来 自 谓词 演算 表达 式 集合 S 的 推理 规则 产生 的 所 有 谓词 演算 表达 式 也 逻辑 派生 自 
S， 那 么 就 说 这 个 推理 规则 是 可 靠 的 。 

如 果 给 定 一 个 谓词 演算 表达 式 的 集合 S， 一 个 推理 规则 可 以 推理 出 逻辑 派生 自 S 的 所 有 表达 
式 ， 那 么 就 说 这 个 推理 规则 是 完备 的 。 


取 式 假 言 推理 是 一 种 正确 的 推理 规则 。 如 果 给 定 一 个 形式 为 PQ 的 表达 式 和 另 一 个 形式 为 
P 的 表达 式 ， 使 得 在 一 种 解释 1 下 它们 都 是 真 的 ， 那么 取 式 假 言 推理 允许 我 们 推理 出 对 于 这 个 解 
释 来 说 Q 也 是 真 的 。 事 实 上 ， 因 为 取 式 假 言 推理 是 可 靠 的 ， 所 以 对 于 所 有 的 P 和 P 一 Q 都 为 真 
的 解释 ，Q 也 是 真 的 。 

取 式 假 言 推理 和 其 他 一 些 有 价值 的 推理 规则 按 如 下 方式 定义 。 


定义 ( 取 式 假 言 推理 、 拒 式 假 言 推理 、 与 消除 、 与 引入 、 全 称 例 化 ) 

和 如果 已 知 语句 PP 和 PQ 是 真 的 ， 那 么 根据 取 式 假 言 推理 可 以 推断 Q 为 真 。 

在 推理 规则 的 拒 式 假 言 推理 (modus tollens) 内 ， 如 果 已 知 PQ 是 真 的 ,并且 是 假 的 ， 
那么 可 以 推断 已 是 假 的 : m P 为 真 。 

与 消除 (and elimination) 使 我 们 可 以 根据 合 取 语句 的 真 值 来 推断 任 一 个 合 取 项 的 真 值 。 例 
如 ， 从 PAQ 为 真 可 以 推出 P 和 Q 都 是 真 的 。 

与 引入 (and introduction) 使 我 们 可 以 从 合 取 项 的 真 值 来 推断 合 取 的 真 值 。 例 如 ， 如 果 P 和 
Q 都 是 真 的 ， 那 么 PAQ 是 真 的 。 

全 称 例 化 (universal instantiation) 指出 如 果 可 以 把 一 个 真 语 身 ， 比 方 说 P(X) ， 中 的 任意 的 
全 称 量化 变量 替换 为 定义 域 中 的 任意 的 适当 项 ， 那 么 结果 是 一 个 真 的 语 身 。 因 此 ， 如 果 引 来 自 X 
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的 定义 域 ， 那 么 从 YX p(X) 可 以 推断 p(a)。 


下 面 举 一 个 简单 的 例子 来 说 明 在 命题 演算 中 取 式 假 言 推理 的 用 法 。 假 定 以 下 的 观察 结果 : 
“如 果 在 下 雨 ， 那么 地 面 会 是 湿 的 ”和 “在 下 雨 ”"。 如 果 P 表示 “在 下 十 ”，Q 表示 “地 面 是 
湿 的 ”， 那 么 第 一 个 表达 式 变 成 P 一 Q。 因 为 现在 确实 在 下 雨 (P 是 真 的 ) ， 所 以 我 们 的 公理 
集 变 成 

P—Q 

Pp 


通过 应 用 取 式 假 言 推理 ， 地 面 是 湿 的 (Q) 这 个 事实 可 以 被 加 入 到 真 的 表达 式 的 集合 中 。 

也 可 以 把 取 式 假 言 推理 应 用 到 含有 变量 的 表达 式 中 。 以 常见 的 三 段 论 为 例 ，“ 所 有 人 都 会 
死 ， 苏 格拉 底 是 人 ; 所 以 苏 格 拉 底 会 死 。 可 以 用 谓词 演算 把 “所 有 人 都 会 死 ” 表 示 为 : 

VX (man(X)—> mortal( X)) 
而 “ 苏 格 拉 底 是 人 ”也 可 以 用 谓词 演算 表示 为 : 


man( socrates) 


因为 在 蕴涵 中 X 是 全 称 量化 的 ， 所 以 我 们 可 以 用 定义 域 中 的 任何 值 来 替换 X， 而 且 根 据 全称 例 化 
的 推理 规则 仍 会 得 到 真 的 陈述 。 把 列 涵 中 的 X 替换 为 socrates ， 便 可 推断 出 如 下 表达 式 ; 


man( socrates) 一 mortal( socrates) 


现在 我 们 可 以 应 用 取 式 假 言 推理 并 推断 出 结论 mortal( socrates) 。 这 被 加 入 到 逻辑 派生 自 原始 断 
言 的 表达 式 集合 中 。 一 种 称 为 会 一 《unification〉 的 算法 可 被 自动 问题 求解 器 用 来 决定 取 式 假 言 
推理 可 以 用 socrates 替换 X。 我 们 在 2. 3. 2 节 中 讨论 这 种 合 一 算法 。 

第 14 章 中 还 讨论 了 一 种 更 为 强大 的 推理 规则 ， 称 为 归结 ， 它 是 很 多 自动 推理 系统 的 基础 。 


2. 3.2 合 一 算法 


为 了 应 用 推理 规则 (比如 取 式 假 言 推理 ) ， 推 理 系统 必须 能 够 判断 两 个 表达 式 何 时 相同 ， 也 
就 是 这 两 个 表达 式 何 时 匹配 。 在 命题 演算 中 ， 这 是 显而易见 的 ; 两 个 表达 式 是 匹配 的 当 且 仅 当 它 
们 在 语句 构成 上 相同 。 在 谓词 演算 中 ， 表 达 式 中 变量 的 存在 使 匹配 两 个 语句 的 过 程 变 得 复杂 。 全 
称 例 化 介 许 用 定义 域 中 的 项 来 替换 全 称 量化 变量 。 这 需要 一 个 决策 处 理 来 判断 是 否 可 以 使 变量 
替换 产生 的 两 个 或 更 多 个 表达 式 相同 (通常 是 为 了 应 用 推理 规则 ) 。 

含 一 是 一 种 判断 什么 样 的 替换 可 以 使 产生 的 两 个 谓词 演算 表达 式 匹配 的 算法 。 我 们 在 上 一 
节 中 已 经 看 到 了 这 个 过 程 ，YVX(man(X) 一 mortal(X) ) 中 的 X 替换 成 了 man(socrates) 中 的 soc- 
rates。 合 一 的 另 一 个 例子 是 在 前 面 讨论 哑 元 时 看 到 的 。 因 为 p(X) 和 p(Y) 是 等 价 的 ， 所 以 可 以 用 
Y 替换 X 使 语句 匹配 。 

合 一 和 像 假 言 推理 这 样 的 推理 规则 允许 我 们 对 一 系列 逻辑 断言 做 出 推理 。 为 了 做 到 这 一 点 ， 
必须 把 逻辑 数据 库 表示 为 合适 的 形式 。 

这 种 形式 的 一 个 根本 特征 是 要 求 所 有 的 变量 都 是 全 称 量化 的 。 这 样 便 允 许 在 计算 替代 时 有 
完全 的 自由 度 。 存 在 量化 变量 可 以 从 数据 库 语句 中 消除 ， 方 法 是 用 使 这 个 语句 为 真 的 常量 来 其 
代 它 们 。 例 如 ， 可 以 把 了 3X parent(X, tom) 替代 为 表达 式 parent( bob, tom) 或 parent( mary， tom), 
假定 在 当前 解释 下 bob 和 mary 是 tom 的 双亲 。 

消除 存在 量化 变量 的 处 理会 因 这 些 蔡 换 的 值 可 能 依赖 于 表达 式 中 的 其 他 变量 而 变 得 复杂 。 
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例如 ， 在 表达 式 YX 了 3Y mother(X, Y) 中 ， 存 在 量化 变量 Y 的 值 依赖 于 变量 X 的 值 。 斯 柯 伦 化 
(skolemization) 方法 把 每 个 存在 量化 变量 用 一 个 函数 来 替换 ， 这 个 函数 是 关于 语句 中 某 个 或 所 有 
其 他 变量 的 函数 ， 它 的 返回 值 是 一 个 常量 。 在 上 面 的 例子 中 ， 因 为 Y 依赖 于 X， 所 以 可 以 用 一 个 
关于 X 的 斯 柯 伦 函 数 f 来 蔡 换 Y。 这 样 便 得 到 了 谓词 VX mother(X,f(X) ) 。 斯 柯 伦 化 处 理 还 可 把 
全 称 量化 变量 绑 定 到 常量 ， 在 14. 2 节 中 我 们 会 更 加 详细 地 讨论 这 种 处 理 。 

一 且 消 除了 逻辑 数据 库 中 的 存在 量化 变量 ， 就 可 以 使 用 合 一 来 匹配 语句 以 便 应 用 像 假 言 扒 
理 这 样 的 推理 规则 。 

合 一 会 由 于 一 个 变量 可 以 替换 为 任何 项 (包括 其 他 变量 和 任意 复杂 度 的 函数 表达 式 ) 而 变 
得 复杂 。 这 些 表达 式 本 身 可 能 含有 变量 。 例 如 ， 可 以 用 father( jack) 来 替换 man(X) 中 的 X 推 断 
出 jack 的 父亲 是 会 死 的 。 

下 面 给 出 了 对 表达 式 foo(X, a, goo(Y) ) 的 合法 蔡 换 所 产生 的 一 些 实例 ; 

1) foo(fred, a, goo(Z)) 

2) foo(W, a, goo(jack) ) 

3) foo(Z, a, goo( moo(2))) 

在 这 个 例子 中 ， 使 初始 的 表达 式 和 其 他 三 个 表达 式 中 的 每 一 个 都 恒 等 的 替换 实例 或 合 一 写 
为 如 下 集合 : 

1) {fred/X, Z/Y} 

2) {W/X, jack/Y} 

3) {ZX, moo(Z)/Y} 
记号 X/Y 表示 用 X 替换 原始 表达 式 中 的 变量 Y。 替 换 又 称 为 绑 定 (binding) 。 我 们 可 以 说 ， 变 量 
被 线 定 到 替换 它 的 值 上 。 

在 定义 用 于 计算 使 两 个 表达 式 匹 配 所 需 的 替换 的 合 一 算法 时 ， 必 须 考虑 很 多 问题 。 首 先 ， 尽 
管 常量 可 以 系统 地 替代 变量 ， 但 是 任何 常量 都 被 视 为 一 个 “ 基 例 ” (ground instance) ， 不 可 以 被 
替代 。 两 个 不 同 的 基 例 也 不 可 以 被 一 个 变 景 替代 。 其 次 ， 一 个 变量 不 能 与 含有 这 个 变量 的 项 合 
一 。X 不 可 以 被 p(X) 替代 ， 因 为 这 样 会 产生 无 限 的 表达 式 : p(p(p(p(…X)…))) 。 对 这 种 情况 
的 检测 被 称 为 重 现 检查 (ocecurs check ) 。 

进一步 讲 ， 问 题 求解 过 程 经 常 需要 多 重 推理 ， 从 而 必然 需要 多 个 连续 的 合 一 处 理 。 膛 辑 问 题 
求解 器 必须 维护 变量 置换 的 一 致 性 。 保 证 被 匹配 的 两 个 表达 式 中 变量 作用 域内 出 现 的 所 有 变量 
都 进行 一 致 的 合 一 替换 是 非常 重要 的 。 在 前 面 的 例子 中 我 们 已 经 看 到 了 这 一 点 ， 当 替换 socrates 
时 ， 不 仅 替换 了 man(X) 中 的 X, 而 且 蔡 换 了 mortal(X) 中 的 X。 

一 旦 一 个 变量 已 经 被 绑 定 ， 将 来 的 合 一 和 推理 必须 把 这 个 绑 定 的 值 考 虑 进来 。 如 果 一 个 变 
量 被 绑 定 到 一 个 常量 ， 那 么 在 以 后 的 合 一 处 理 中 不 可 以 再 对 这 个 变量 进行 新 的 绑 定 。 如 果 变 量 
Xi 被 替代 为 变量 X: ， 而 且 后 来 X, 又 被 替代 为 常量 ， 那 么 X。 也 应 该 反映 这 个 绑 定 。 用 在 推理 序 
列 中 的 替换 集合 是 很 重要 的 ， 因 为 它 可 能 包含 原始 查询 的 答案 ( 见 14.2.5 节 )。 例 如 ， 如 果 通 
过 替换 {a/Y,X/Z} 用 p(Y,Z) 一 q(Y,Z) 的 前 提 来 合 一 p(a, X) ， 那 么 取 式 假 言 推理 使 我 们 可 以 在 
相同 替换 下 推断 q(a, X) 。 如 果 我 们 把 这 个 结果 和 q(W, b) 一 r(W, b) 匹配 ， 那么 通过 替换 集合 
{a/W, b/X } ,我 们 可 以 推断 r(a, b) 。 

另 一 个 合 一 替换 的 重要 概念 是 复合 〈composition) 。 如 果 S 和 S ' 是 两 个 替换 集合 ,那么 S 和 
S ' 的 复合 〈 写 为 SS) 是 这 样 得 到 的 : 对 S 的 每 一 个 元 素 应 用 S'， 再 把 结果 加 到 S。 例 如 考虑 
复合 下 面 这 个 替换 序列 : 


{X/Y, W/2}, {V/X}, {a/V, f(b)/W)} 
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将 第 三 个 集合 {a/V, f(b)AW} 与 第 二 个 集合 {V/X} 复 合 ， 得 到 : 
{a/X, a/V, t(b)/W} 


将 结果 与 第 一 个 集合 {[X/Y, W/Z} 复 合 ， 得 到 赫 换 集合 : 
{a/Y, a/X, a/V,f(b)/Z,f(b)/W} 


复合 是 下 面 要 给 出 的 一 个 递归 函数 unify 所 使 用 的 一 种 方法 ， 该 函数 用 复合 这 种 方法 来 组 合 
多 个 合 一 置换 并 作为 结果 返回 。 可 以 证 明 复 合 是 支持 结合 律 但 不 支持 交换 律 的 。 本 章 的 练习 更 
详细 地 讨论 了 这 些 问题 。 . 

对 合 一 算法 的 进一步 要 求 是 合 一 式 要 尽 可 能 地 通用 ; 也 就 是 要 发 现 两 个 表达 式 的 最 一 般 的 
合 一 式 (most general unifier) 。 在 下 面 的 例子 中 会 看 到 这 一 点 的 重要 性 ， 因 为 如 果 求 解 过 程 失去 
了 一 般 性 ， 就 会 缩小 最 终 解 的 适用 范围 ， 或 者 甚至 完全 排除 解 的 可 能 性 。- 

例如 ， 在 合 一 p(X) 和 p(Y) 时 ,任何 常量 表达 式 ， 比 如 {fred/X, fred/Y} ， 都 会 获得 成 功 。 然 
而 ，fred 不 是 最 一 般 的 合 一 式 ; 可 以 使 用 任何 变量 ， 而 且 会 产生 更 一 般 的 表达 式 : {ZAX, ZY}。 
第 一 种 置换 得 到 的 解 总 是 受 约束 的 ， 常 量 fred 限制 了 最 终 的 推理 ; 也 就 是 说 ，fred 是 一 个 合 一 
式 , 但 它 降低 了 结果 的 一 般 性 。 

定义 (最 一 般 的 合 一 式 (mgu)) 如 果 S 是 表达 式 E 的 任意 一 个 合 一 式 ，9 是 这 个 表达 式 
集合 的 最 一 般 的 合 一 式 ， 那 么 对 于 应 用 到 E 的 S， 存 在 另 一 个 合 一 式 S' 使 Es = Egs'， 其 中 Es 和 
Egs' 是 应 用 到 表达 式 巨 的 合 一 式 的 复合 。 


一 个 表达 式 集 合 的 最 一 般 的 合 一 式 是 惟一 的 ， 除 非 字母 变种 (alphabetic variation); 也 就 是 
说 ， 不 论 变量 最 终 被 称 为 X 还 是 Y， 实际 上 对 最 终 合 一 的 一 般 性 没有 任何 不 同 。 

合 一 对 于 任何 使 用 谓词 演算 作为 表示 的 人 工 智能 问题 求解 器 都 是 很 重要 的 。 合 一 确定 了 两 
个 (或 更 多 个 ) 谓词 演算 表达 式 等 价 的 条 件 。 这 允许 我 们 通过 逐 辑 表示 来 使 用 像 娄 结 这 样 的 推 
理 规则 ， 归 结 是 经 常 需要 回溯 以 找到 所 有 可 能 解释 的 一 种 过 程 。 

下 面 我 们 给 出 函数 unify 的 伪 代 码 ， 它 计算 两 个 谓词 演算 表达 式 之 间 的 合 一 替换 〈 当 可 能 合 
一 时 ) 。unify 函数 以 两 个 谓词 演算 表达 式 为 参数 ， 返 回 最 一 般 的 合 一 蔡 换 或 常量 FAIL ( 当 不 可 
能 合 一 时 ) 。 它 被 定义 为 一 个 递归 的 函数 : 首先 ， 它 试图 递归 合 一 表达 式 的 初始 部 分 。 如 果 这 成 功 
了 ， 再 把 这 个 合 一 返回 的 任何 替换 应 用 到 两 个 表达 式 的 其 余部 分 。 然 后 把 应 用 后 的 结果 作为 参数 传 
进 第 二 个 对 unify 的 递归 调用 ， 并 尝试 结束 这 个 合 一 过 程 。 当 遇 到 以 下 两 种 情况 中 的 任 一 种 时 递归 
会 停止 : 参数 是 一 个 符号 〈 一 个 谓词 、 函 数 名 、 常 量 或 变量 ) ; 表达 式 的 元 素 都 已 经 被 匹配 过 。 

为 了 简化 对 表达 式 的 操作 ， 这 个 算法 假定 对 语法 进行 了 轻微 的 修改 。 因 为 unify 仅 进行 语法 
模式 的 匹配 ， 所 以 它 可 以 忽略 谓词 、 函 数 和 参数 之 间 的 谓词 演算 差异 ， 使 算法 更 加 有 效 。 通 过 把 
表达 式 表 示 成 一 个 列表 【元 素 的 一 个 有 序 序 列 ) 一 一 谓词 或 函数 名 作为 第 一 个 元 素 ， 参 数 跟 在 
后 面 一 一 我 们 可 以 简化 表达 式 的 操作 。 在 表达 式 中 ， 如 果 一 个 参数 本 身 是 一 个 谓词 或 函数 表达 
式 ， 那 么 这 种 表达 式 可 以 表示 成 列表 中 的 列表 ， 从 而 保持 表达 式 的 结构 。 各 个 列表 间 用 括号 《〈) 
分 界 ， 列 表 的 元 素 之 间 用 空格 分 隔 。 下 面 的 例子 列 出 了 一 些 表达 式 的 谓词 演算 (PC) 形式 和 相 
应 的 符合 列表 语法 的 形式 。 


PC 语法 列表 语法 

pl(a,b) (P a b) 

p(f(a),g(X,Y)) (p (fa) (g9XY)) 
equal(eve,mother(cain)) (equal eve (mother cain)) 


下 面 给 出 了 函数 unify : 
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function unify(E1, E2); 
begin 
case 
both E1 and E2 are constants or the empty list: %recursion stops 
if E1 = E2 then return 1 
else return FAIL; 
E1 is a variable: 
if E1 occurs in E2 then return FAIL 
else return {E2/E1}; . 
E2 is a variable: 
if E2 occurs in E1 then return FAIL 


else return {E1/E2} 
either E1 or E2 are empty then return FAIL %the lists are of different sizes 
otherwise: %both E1 and E2 are lists 
begin 


HE1 := first element of E1; 
HE2 := first element of E2; 
SUBS1 := unify(HE1,HE2); 
if SUBS1= FAIL then return FAIL; 
TE1 := apply(SUBS1, rest of E1); 
TE2 := apply (SUBS1, rest of E2); 
SUBS2 :=unify(TE1, TE2); 
if SUBS2 = FAIL then return FAIL; 
else return composition(SUBS1,SUBS2) 
end 
end %end case 
end 


2.3.3 合 一 的 例子 


可 以 通过 跟踪 下 面 的 调用 来 分 析 前 面 的 算法 的 行为 ; 

unify( (parents X (father X) (mother bill) ), (parents bill (father bill) Y) ) 
当 第 一 次 调用 unify 时 ， 因 为 两 个 参数 都 不 是 原子 符号 ， 所 以 函数 试图 递归 地 合 一 每 个 表达 式 的 
第 一 个 元 素 ， 即 调用 

unify( parents, parents) 
这 个 合 一 是 成 功 的 ， 返回 空 的 替换 fi 。 把 这 个 替换 应 用 到 表达 式 的 其 余部 分 没有 产生 变化 ， 因 
此 接 下 来 算法 调用 

unify( (X (father X) (mother bill) ) (bill (father bill) Y)) 
这 一 阶段 的 执行 情况 以 树 的 形式 显示 在 图 2-4 中 。 


1. unify((parents X (father X) (mother bill)), (parents bill (father bil) Y)) 


合 一 第 一 个 元 素 
并 把 替换 应 用 到 
其 余部 分 





2. unify(parents, parents) 3. unify((X (father X) (mother bil))bill (father bill) Y) 
图 2-4 (parents X (father X) (mother bill)) 与 (parents bill (father bill) Y) 合 一 的 初始 步 又 
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在 第 二 次 调用 unify 时 ， 两 个 表达 式 都 不 是 原子 的 ， 所 以 算法 把 每 个 表达 式 分 割 成 它 的 第 一 
个 元 素 和 其 余部 分 。 这 导致 如 下 的 调用 : 


unify( X, bill) 
这 个 调用 是 成 功 的 ， 因 为 两 个 表达 式 都 是 原子 的 ， 而 且 其 中 之 一 是 一 个 变量 。 这 个 调用 返回 的 替 


换 是 {bil/X} 。 这 一 替换 被 应 用 到 每 个 表达 式 的 其 余部 分 ， 然 后 对 应 用 后 的 结果 再 调用 unify (如 
图 2-5 所 示 ) : 


unify( ( (father bill) (mother bill) ), ( (father bill} Y) ) 


1. unify((parents X (father X) (mother bill)), (parents bill (father bilt) Y)) 


合 一 第 一 个 元 素 
并 把 替换 应 用 到 
7 ”其 余部 分 






2. unify(parents, parents) 3. unify((X (father X) (mother bill)), (bill (father bill) Y)) 


合 一 第 一 个 元 素 
并 把 替换 应 用 到 
其 余部 分 





4. unify(X,bill) 5. unify(((father DID) (mother bill}),((father bill) Y) 
图 2-5 (parents X (father X) (mother bil) ) 与 (parents bill (father bill) Y) 合 一 的 其 他 步骤 

这 次 调用 的 结果 是 要 使 (father bil) 和 “father bil) 合 一 。 这 导致 如 下 的 调用 

unify( father, father) 

unify( bill, bill) 

unify( (), ()) 
所 有 这 些 调用 都 是 成 功 的 ,返回 空 的 蔡 换 集合 ， 如 图 2-6 所 示 。 然 后 对 表达 式 的 其 余部 分 调 
用 unify : 

unify( ( (mother bill) ), (Y)) 
这 依次 产生 如 下 调用 : 

unify( ( mother bill) , Y) 

unify( (), ()) 
在 上 面 的 第 一 个 调用 中 ，( mother bill) 和 Y 合 一 。 注 意 : 这 个 合 一 是 用 整个 结构 ( mother bill) 
代替 变量 Y。 因 此 ， 合 一 成 功 并 返回 一 个 替换 {( mother bil) /Y}。 第 二 个 调用 unify(()， ()) 返 回 
{] 。 所 有 这 些 替 换 被 组 合 在 一 起 作为 每 次 递归 调用 的 结果 ， 返 回答 案 {bil/ X(mother bil)AY}。 整 
个 执行 过 程 显示 在 图 2-6 中 。 图 中 用 数字 标 出 了 每 个 调用 以 便 表明 调用 的 次 序 ; 每 个 调用 返回 的 
替换 标记 在 树 中 的 统 上 。 
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1. unify((parents X (father X) (mother bil)), (parents bil! (father bill) Y)) 

合 一 第 一 个 元 素 

并 把 替换 应 用 到 
其 余部 分 

















2. unify(parents, parents) 3. unify((X (father X) (mother bill)), (bil (father bill) Y)) 
合 一 第 一 个 元 素 ”、 
并 把 替换 应 用 到 \、\、 
”其 余部 分 \ 
return {(mother billyY} 
AN 
\ 
\ 
、 
4. unify(X.,bill) 5. unify(((father bill} (mother bill)), ((father bill) Y)) 
合 一 第 一 个 元 素 、 
并 把 替换 应 用 到 \A\ 
其 余部 分 \、 
retum {(mother bil)/Y} 
\ 
AN 
6. unify((father bil), (father bi 由 ) 11. unify(((mother bill)), (Y)) 
合 一 第 一 个 元 素 全 -第 一 个 天 素 、N 
亲人 到 \ 1 
rotum {} 1 
retum {} a {(mother bill)/Y} 
4 
7. unify(father, father) 8. ni (bilh) 12. Unity((mother bill), Y) 13. unify((), 人 
合 一 第 一 个 元 素 
并 把 替换 应 用 到  \ 
其 余部 分 \ 
return {} 
/ 和 
return {} \ 
\ 
4 
9. unify(bill, bill) 10. unify((), () 


图 2-6 (parents X (father X) (mother bilh) ) 与 (parents bill (father bill) Y) 合 一 的 最 终 图 示 


2.4 应 用 : 一 个 基于 逻辑 的 财务 顾问 


作为 使 用 谓词 演算 来 表示 和 推理 问题 域 的 最 后 一 个 例子 ， 我 们 利用 谓词 演算 设计 一 个 简单 
的 财务 顾问 。 尽 管 这 个 例子 很 简单 ， 但 它 演 示 了 现实 应 用 中 涉及 的 很 多 问题 。 

这 个 顾问 的 功能 是 帮助 用 户 决 策 是 应 该 向 存款 账户 中 投资 还 是 向 股票 市 场 中 投资 。 一 些 投 
资 者 可 能 想 要 把 他 们 的 钱 在 这 两 者 之 间 分 摊 。 推 荐 给 每 个 投资 个 体 的 投资 策略 依赖 于 他 们 的 收 
入 和 他 们 已 有 存款 的 数量 ， 需 根据 以 下 标准 制定 ， 

1) 存款 数额 还 不 充足 的 个 体 始终 该 把 提高 存款 数额 作为 他 们 的 首选 目标 ， 无 论 他 们 收入 
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如 何 。 

2) 具有 充足 存款 和 充足 收入 的 个 体 应 该 考虑 风险 较 高 但 潜在 投资 收益 也 更 高 的 股票 市 场 。 

3) 收入 较 低 的 已 经 有 充足 存款 的 个 体 可 以 考虑 把 他 们 的 剩余 收入 在 存款 和 股票 间 分 挫 ， 以 
便 既 能 提高 存款 数额 又 能 尝试 通过 股票 提高 收入 。 

存款 和 收入 的 充足 性 可 以 由 个 体 要 供养 的 人 数 决 定 。 我 们 的 标准 是 为 供养 的 每 个 人 至 少 在 
银行 存款 5 000 美元 。 充 足 的 收入 必须 是 稳定 的 所 得 ， 每 年 至 少 补充 15 000 美元 ， 再 加 额外 的 给 
每 个 要 供养 的 人 4 000 美元 。 

为 了 自动 化 这 个 咨询 过 程 ， 我 们 把 这 些 准 则 翻译 成 以 谓词 演算 表示 的 语句 。 第 一 个 任务 是 
决定 必须 要 考虑 的 主要 特征 。 这 里 是 存款 和 收入 的 充足 性 。 把 它们 分 别 用 谓词 savings_account 
和 income 表示 。 它 们 都 是 一 元 谓词 ,它们 的 参数 是 adequate (充足 ) 或 inadequate (不 充 
足 ) 。 于 是 ， 


Savings_account( adequate) 
savings_account( inadequate) 
income( adequate) 

income( inadequate) 


是 它们 的 可 能 值 。 

结论 是 用 一 元 谓词 investment 表示 的 ， 它 的 参数 的 可 能 值 是 stocks (股票 ) 、savings ( 存 
款 ) 或 combination (组 合 ) (意味 应 该 分 摊 投 资 ) 。 

利用 这 些 谓词 ， 不同 的 投资 策略 被 表示 为 蕴涵 的 形式 。 第 一 条 规则 ， 存 款 数额 还 不 充足 的 个 
体 始终 该 把 提高 存款 数额 作为 他 们 的 首选 目标 ， 被 表示 为 : 


savings_account( inadequate) — investment( savings) 


类 似 地 ， 剩 下 的 两 条 备 选 投资 方案 被 表示 为 : 


savings_account( adequate) 人 income(adequate) 一 investment( stocks) 
savings_account( adequate) A income( inadequate) — investment( combination) 


接 下 来 ， 这 个 顾问 必须 判断 存款 和 收入 何 时 是 充足 的 以 及 何 时 是 不 充足 的 。 这 也 可 以 使 用 
蕴涵 来 实现 。 算 术 计 算 的 需要 要 求 使 用 函数 。 为 了 计算 充足 存款 的 最 小 值 ， 定 义 了 函数 minsav- 
ings。minsavings 具有 一 个 参数 ， 即 要 供养 的 人 数 ， 并 且 返 回 该 参数 的 5000 倍 。 

利用 minsavings ， 存 款 的 充足 性 可 以 由 以 下 规则 来 判断 : 


VX amount_saved(X) A 了 Y(dependents(Y) A greater( X, minsavings(Y)) ) 一 savings_ac- 
count(adequate) 

VX amount_saved(X) A 3Y (dependents(Y) An greater(X, minsavings( Y)))— savings- 
account( inadequate) 


其 中 ，minsavings(X) = 5000 * X。 

在 这 些 定义 中 ，amount_saved(X) 和 dependents(Y) 断言 投资 者 的 当前 存款 额度 和 要 供养 的 
人 数 ;greater( X,Y) 是 标准 的 算术 测试 ， 用 来 测试 一 个 数字 是 否 大 于 另 一 个 数字 ， 在 这 个 例子 中 
我 们 没有 正式 定义 它 。 

类 似 地 ， 函 数 minincome (最 低 收 入 ) 定义 为 : 


minincome(X) = 15000 +(4000 * X) 
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当 给 定 要 供养 的 人 数 后 ， 使 用 minincome 计算 充足 收入 的 最 小 值 。 投 资 者 的 当前 收入 被 表示 为 
一 个 谓词 earnings。 因 为 充足 的 收入 必须 既是 稳定 的 又 要 超过 最 小 值 ， 所 以 earnings 带 两 个 参 
数 ， 第 一 个 参数 是 所 得 数额 ， 第 二 个 参数 必须 等 于 steady (稳定 ) 或 unsteady (不 稳定 ) 中 的 
一 个 。 这 个 顾问 需要 的 其 他 规则 是 : 

VX earnings( X, steady) A 3Y (dependents(Y) A greater( X, minincome(Y) )) 一 income 
(adequate) 

VX earnings( X, steady) A 3Y (dependents(Y) 人 = greater( X, minincome( Y)))— income 
(inadequate) 

VX earnings( X, unsteady) 一 income(inadequate) 

为 了 进行 一 次 咨询 ， 要 使 用 谓词 amount-saved、earnings 和 dependents 把 一 个 特定 投资 个 
体 的 描述 加 入 到 谓词 演算 的 语句 集合 中 。 于 是 ， 一 个 要 供养 3 个 人 、 有 22 000 美元 存款 、25 000 
美元 稳定 收入 的 投资 者 被 描述 为 : 

amount_saved(22000) 


earnings(25000, steady) 
dependents(3) 


这 样 得 到 了 由 以 下 语句 组 成 的 一 个 逻辑 系统 : 
1. savings_account(inadequate) 一 investment(savings) 
2. savings_account(adequate) ^ income(adequate) -> investment(stocks) 


3. savings_account(adequate) ^ income(inadequate) 
一 investment(combination) 


4. VXamount saved(X) 和 ^3Y (dependents(Y) A 
greater(X, minsavings(Y))) 一 savings_account(adequate) 


5. VX amount saved(X) ^ 了 Y (dependents(Y) A 
— greater(X, minsavings(Y))) 一 savings_account(inadequate) 


6. VX earnings(X, steady) ^3Y (dependents (Y) ^ 
greater(X, minincome(Y))) — income(adequate) 


7. VX earnings(X, steady) 和 ^3Y (dependents(Y) A 
~ greater(X, minincome(Y))) 一 income(inadequate) 


8. VX earnings(X, unsteady) — income(inadequate) 

9. amount_saved(22000) 

10. earnings(25000, steady) 

1l1. dependents(3) 
其 中 : minsavings(X) = 5000 * X, minincome( X) = 15000 + (4000 * X)。 

这 个 逻辑 语句 集合 描述 了 我 们 的 问题 域 。 我 们 把 这 些 断 言 进行 了 编号 ， 以 便 在 下 文中 引用 。 

利用 合 一 和 取 式 假 言 推理 ， 可 以 把 适合 这 个 投资 个 体 的 投资 策略 推理 成 这 些 描 述 的 逻辑 结 
论 。 第 一 步 要 做 的 工作 就 是 把 断言 10 和 断言 11 的 合 取 与 断言 7 的 前 提 的 前 两 个 部 分 合 一 ， 也 就 
是 使 

earnings(25000, steady) 人 dependents(3) 
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与 

earnings( X, steady) A dependents( Y) 
合 一 ， 使 用 的 替换 是 {25000/X, 3/Y} 。 这 个 替换 得 到 了 一 个 新 的 蕴涵: 

earnings(25000, steady) A dependents(3) A =- greater(25000, minincome(3))— income( in- 
adequate) 

计 值 函数 minincome 得 到 如 下 表达 式 : 

earnings ( 25000, steady) A dependents (3) 人 =” greater (25000, 27000) 一 income (inade- 


quate) 


因为 根据 断言 10、 断言 3 和 greater 的 数学 定义 ， 以 上 前 提 的 所 有 三 个 部 分 都 为 真 ， 所 以 它们 的 
合 取 为 真 ， 整 个 前 提 也 为 真 。 因 此 可 以 应 用 取 式 假 言 推理 得 到 结论 income (inadequate) 。 这 作 
为 断言 12 加 入 系统 。 


12. income( inadequate) 

类 似 地 ， 把 

amount_saved(22000) A dependents( 3) 
与 断言 4 前 提 的 前 两 个 元 素 使 用 替换 {22000/X, 3/Y} 合 一 ， 得 到 以 下 蕴涵 : 

amount_saved(22000) A dependents(3) A greater(22000, minsavings(3) ) 一 savings_ac- 
count( adequate) 
这 里 ， 计 值 函数 minsavings(3) 得 到 表达 式 : 

amount_saved(22000) A dependents(3) A greater( 22000, 15000) 一 savings_account( ade- 
quate) 

接着 ， 因 为 这 个 蕴涵 的 前 提 的 所 有 三 个 部 分 都 为 真 ， 所 以 整个 前 提 的 结果 为 真 ， 再 一 次 使 用 
取 式 假 言 推理 ， 得 到 结论 savings_account(adequate) ， 并 把 它 作 为 表达 式 13 加 入 系统 。 

13，savings_account( adequate) 

对 表达 式 3、 表 达 式 12 和 表达 式 13 加 以 分 析 ， 不 难看 出 蕴涵 3 的 前 提 也 是 真 的 。 于 是 我 们 
第 三 次 应 用 取 式 假 言 推理 ， 得 出 的 结论 是 investment( combination) ， 即 给 我 们 的 投资 个 体 的 投 
资 建 议 。 

这 个 例子 说 明了 如 何 使 用 谓词 演算 来 实际 推理 问题 ， 把 推理 规则 应 用 到 初始 的 问题 描述 ， 
从 而 得 出 正确 的 结论 。 我 们 还 没有 严密 地 讨论 算法 如 何 确 定 为 解决 给 定 问 题 作出 正确 的 推理 ， 
以 及 把 这 种 算法 在 计算 机 上 实现 的 方式 。 这 些 主 题 会 在 第 3、4 和 6 章 中 进行 讨论 。 
2.5 结语 和 参考 文献 

在 这 一 章 中 ， 我 们 把 谓词 演算 作为 AI 问题 求解 的 一 种 表示 语言 对 其 进行 了 介绍 。 我 们 描述 
并 且 定 义 了 这 种 语言 的 符号 、 项 、 表 达 式 和 语义 。 以 谓词 演算 的 语义 为 基础 ， 我 们 定义 了 可 以 推 
导出 逻辑 派生 自给 定 表达 式 集合 的 新 语句 的 推理 规则 。 我 们 定义 了 一 种 合 一 算法 ， 用 以 求 出 使 
两 个 表达 式 匹 配 的 变量 替换 ， 这 是 应 用 推理 规则 所 必需 的 。 我 们 用 一 个 财务 顾问 的 例子 归纳 了 
本 章 的 内 容 ， 这 个 例子 用 谓词 演算 表示 财务 知识 ， 并 演示 了 问题 求解 的 逻辑 推理 技术 。 
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很 多 计算 机 科学 的 专业 书籍 都 详细 讨论 了 谓词 演算 ， 包括 : Zohar Manna 和 Richard Waldinger 
所 著 的 《The Logical Basis for Computer Programming》 (1985 ) 、Jean H._ Gallier 所 著 的 《Logic for 
Computer Science》 (1986) 、Chin-liang Chang 和 Richard Char-tung Lee 所 著 的 《Symbolic Logic and 
Mechanical Theorem Proving》 (1973)、Peter B.Andrews 所 著 的 《An Introduction to Mathematical 
Logic and Type Theory》(1986) 。 我 们 在 第 14 章 的 自动 推理 中 给 出 了 更 多 的 现代 证 明 技术 。 

把 谓词 演算 作为 人 工 智能 表示 语言 来 讨论 的 书籍 包括 : Michael Genesereth 和 Nils Nilsson 所 
著 的 《Logical Foundations of Artificial Intelligence》 (1987 ) 、Nils Nilsson 所 著 的 《Artificial Intelli- 
gence》(1998) 、Larry Wos 所 著 的 《The Field of Automated Reasoning》 (1995 ) 、Alan Bundy 所 著 
的 《Computer Modelling of Mathematical Reasoning》(1983 ，1998) 以 及 Ronald Brachman 和 Hector 
Levesque 所 著 的 《Readings in Knowledge Representation》 (1985) 。 要 了 解 自动 推理 的 有 趣 应 用 ， 
可 以 参见 Bob Veroff 所 著 的 《Automated Reasoning》 (1997)。 期 刊 《Journal for Automated Reason- 
ing (JAR)》 和 会 议 《Conference on Automated Deduetion (CADE)》 则 涵盖 了 当前 研究 的 主题 。 


2.6 习题 


1. 使 用 真 值 表 来 证 明 2. 1. 2 节 中 的 恒等式 。 
2. 可 以 用 下 面 的 真 值 表 来 定义 一 个 新 的 操作 符 田 ， 也 就 是 异 或 : 


P Q POQ 
T T F 
工 F T 
F T 工 
F F F 


仅 使 用 人 、V 和 -” 来 建立 与 P@Q 等 价 的 命题 演算 表达 式 。 
使 用 真 值 表 证 明 它们 的 等 价 性 。 
3. 把 逻辑 操作 符 “**” 读 为 “ 当 且 仅 当 ”(if and only if) 。P**Q 被 定义 为 与 (P 一 Q) 人 (Q 一 P) 等 价 。 根 据 
这 个 定义 ， 用 两 种 方法 证 明 PQ 逻辑 等 价 于 (PVQ) 一 (PA 人 QQ): 
a) 使 用 真 值 表 证 明 ，; 
b) 利用 2. 1.2 节 中 的 恒等式 通过 一 系列 替换 来 证 明 。 
4. 证 明 命 题 演算 中 的 蕴涵 服从 传递 律 ， 也 就 是 ((P 一 Q) 人 (Q 一 R) ) 一 (P 一 R) 。 
5. a) 证 明 取 式 假 言 推理 对 于 命题 演算 是 可 靠 的 。 提 示 : 使 用 真 值 表 来 枚 举 所 有 可 能 的 解释 。 
b) 反 绎 (abduction) 是 一 种 从 P 一 Q 和 QQ 推断 P 的 推理 规则 。 证 明 反 绎 是 不 可 靠 的 〈 见 第 7 章 )。 
c) 证 明 拒 式 假 言 推 理 ((P 一 Q) A” Q) 一 ” P 是 可 靠 的 。 
6. 尝试 合 一 下 面 的 表达 式 对 。 要 么 给 出 它们 的 最 一 般 的 合 一 式 ， 要 么 解释 为 什么 它们 不 能 合 一 。 
a) p(X,Y) 和 pl(a, 2) 
b) p(X,X) 和 Pp(a, b) 
c) ancestor(X, Y) 和 ancestor(bil father( bill) ) 
d) ancestor(X, father(X)) 和 ancestor( david， george) 
e) q(X) 和 =- q(a) 
7. a) 组 合 替 换 集合 {a/X, Y/Z} 和 {X/W, b/Y} 。 
b) 证 明 替 换 集合 的 组 合 是 服从 结合 律 的 。 
c) 举 一 个 例子 说 明和 替换 集 合 的 组 合 是 不 服从 交换 律 的 。 
8. 用 你 喜欢 的 计算 机 语言 在 计算 机 上 实现 2.3.2 节 中 的 unify 算法 。 
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9. 给 出 图 2-3 的 积木 世界 描述 的 另外 两 种 解释 。 

10. Jane Doe 要 供养 4 个人， 她 有 30 000 美元 的 稳定 收入 ， 她 的 存款 账户 中 有 15 000 美元 。 向 2. 4 节 中 的 通 
用 投资 顾问 例子 中 加 入 描述 她 的 情况 的 适当 谓词 ， 然 后 进行 必要 的 合 一 和 推理 以 求 出 提供 给 Jane Doe 的 
投资 建议 。 

11. 写 出 一 系列 逻辑 谓词 ， 这 些 谓 词 将 完成 简单 的 汽车 故障 诊断 ( 例如， 如果 发 动机 熄火 ， 车 灯 不 亮 ， 那 
么 电池 就 有 问题 ) 。 不 必 过 于 繁琐 ， 只 需要 包括 以 下 几 种 情况 : 电池 问题 、 油 用 完了 、 火 花 塞 十 了 、 发 
动机 启动 器 坏 了 。 

12. 下 面 的 故事 摘自 N，Wirth 所 著 的 《算法 + 数据 结构 = 程序 》 (Algorithms + data structures = Programs ) 
(1976 ) 。 

我 到 了 个 赛 妇 (让 我 们 称 她 为 W) ， 她 有 个 成 年 的 女儿 〈 称 她 为 D) 。 我 的 父亲 〈 称 他 为 了 ) 经 常 来 我 
们 家 ， 爱 上 了 我 的 继 女 并 和 她 结婚 了 。 于 是 我 的 父亲 变 成 了 我 的 女 婚 ， 我 的 继 女 变 成 了 我 的 妈妈 。 几 
个 月 后 ， 我 的 妻子 给 我 生 了 个 儿子 (S1) ， 这 个 孩子 变 成 了 我 父亲 的 小 奥 子 ， 也 就 是 我 的 奥 粤 。 我 父亲 
的 妻子 ， 也 就 是 我 的 继 女 ， 也 生 了 个 儿子 (S;)。 

利用 谓词 演算 ， 创 建 一 系列 表达 式 来 表示 上 面 故事 的 情节 。 加 入 一 些 表 达 式 来 定义 基本 的 家 庭 关 系 ， 
比如 father-in-law (丈夫 或 妻子 的 父亲 ) 的 定义 。 然 后 对 这 个 系统 使 用 假 言 推理 来 证 明 这 个 结论 “我 是 
我 自己 的 祖父 ”。 


第 3 章 状态 空间 搜索 的 结构 和 策略 


为 了 生存 ,主体 要 么 用 防护 器 具 把 自己 武装 起 来 并 祈 社 一 切 平 安 ( 如 不 能 移动 的 植物 ) ， 要 
么 就 要 想方设法 脱离 危险 境地 并 进入 安全 环境 。 如 果 是 后 一 种 情况 ， 那 么 所 有 主体 都 会 不 断面 
临 一 个 基本 问题 : 现在 该 怎么 做 ? 

一 一 丹尼尔 丹 尼 特 《意识 的 解释 》 


Two roads diverged in a yellow wood, 
And sorry 1 could not travel both 
And be one traveler, long I stood 
And looked down one as far as I could 
To where it bent in the undergrowth; 
Then took the other… 
两 条 路 在 黄色 的 树林 间 分 又 ， 
可 惜 我 不 能 都 踏 行 。 
我 这 个 过 客 久久 徘徊 ， 
极目 望 断 一 条 途径 ， 
综 妖 地 进入 树林 ; 
于 是 我 选择 了 另 一 条 路 …… 

一 一 罗伯特 . 佛 洛斯 特 《没有 走 的 路 》 


3.0 简介 


我 们 在 第 2 章 中 把 谓词 演算 作为 人 工 智能 表示 语言 的 一 个 示例 做 了 介绍 。 合 式 谓词 演算 表达 
式 提供 了 一 种 描述 问题 域 中 对 象 和 关系 的 手段 ， 诸 如 假 言 推理 这 样 的 推理 规则 使 我 们 可 以 从 这 
些 描述 中 推理 出 新 的 知识 。 这 些 推理 定义 了 一 个 从 中 搜索 问题 解 的 空间 。 本 章 介 绍 状态 空间 搜 
索 理 论 。 

为 了 成 功 地 设计 和 实现 搜索 算法 ， 程 序 员 必须 能 够 分 析 和 预测 它们 的 行为 。 需 要 回答 的 问 
题 包 括 : 

。 问题 求解 器 保证 可 以 找到 解 吗 ? 

。 问题 求解 器 总 是 可 以 终止 吗 ， 也 就 是 说 它 是 否 可 能 陷 人 无 限 循环 ? 

。 当 找 到 解 时 ， 能 保证 这 个 解 是 最 优 解 吗 ? 

。 搜索 过 程 的 时 间 复 杂 度 如 何 ? 内 存 使 用 呢 ? 

。 怎样 使 解释 程序 最 有 效 地 降低 搜索 复杂 度 ? 

。 怎样 设计 解释 程序 才能 使 它 最 有 效 地 利用 表示 语言 ? 

状态 空间 搜索 (state space search) 理论 是 我 们 回答 这 些 问题 的 首选 工具 。 只 要 把 问题 表示 
为 状态 空间 图 (state space graph) ， 我 们 就 可 以 利用 图 论 工具 来 分 析 问 题 的 结构 和 复杂 度 以 及 用 
以 求解 问题 的 搜索 过 程 的 结构 和 复杂 度 。 

图 是 由 一 系列 结 点 〈node) 和 一 系列 连接 结 点 对 的 弧 (are) 或 连接 (link) 构成 的 。 在 问 
题 求解 的 状态 空间 模型 中 ， 图 的 结 点 被 用 来 表示 问题 求解 过 程 中 的 离散 状态 ， 比 如 有 逻辑 推理 的 
结果 或 棋盘 的 不 同 格局 。 图 的 弧 表 示 状 态 之 间 的 转换 。 这 些 转 换 对 应 于 逻辑 推理 或 博弈 中 的 一 
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次 合法 移动 。 例 如 在 专家 系统 中 ， 状 态 描述 了 在 推理 过 程 某 一 阶段 我 们 对 问题 实例 的 知识 。 专 家 
知识 是 “过 … then” 形 式 的 规则 ， 人 允许 我 们 产生 新 的 信息 ; 应 用 规则 的 动作 被 表示 为 状态 之 间 的 
弧 。 

图 论 是 推理 对 象 之 间 结 构 和 关系 的 最 佳 工具 。 实 际 上 ， 也 正 是 这 种 需求 导致 了 它 的 产生 。18 
世纪 初期 ， 瑞 士 数 学 家 莱 奥 哈 尔 德 . 欧 拉 (Leonhard Euler) 为 了 解决 “ 哥 尼 斯 堡 七 桥 问题 ”而 
发 明了 图 论 。 哥 尼斯 堡 城中 有 一 条 河 ， 河 中 有 两 个 岛屿 ， 而 且 共 有 七 座 桥 连接 着 岛屿 和 河岸 ， 如 
图 3-1 所 示 。 

哥 尼斯 堡 七 桥 问题 是 : 一 个 散步 者 能 否 在 仅 经 过 每 座 桥 一 次 的 情况 下 遍历 七 座 桥 。 尽 管 这 
里 的 居民 无 法 找到 这 样 的 路 线 并 且 怀 疑 这 是 否 可 能 ， 但 是 没有 人 能 证 明 它 是 不 可 能 的 。 欧 拉 以 
图 论 的 形式 建立 了 这 幅 图 的 另 一 种 表示 ， 如 图 3-2 所 示 。 河 岸 〈 由 1 和 中 2) 和 岛屿 (i 和 论 ) 
被 表示 为 图 中 的 结 点 ; 桥 被 表示 为 结 点 之 间 带 标签 的 弧 〈b1 ，b2，…，b7) 。 图 表示 保持 了 这 个 
桥 系统 的 关键 特征 ， 忽 略 了 无 关 的 特征 ， 比 如 桥 长 、 距 离 和 桥 的 行走 顺序 。 





rb1 
河岸 1 Bi 和 
计 2 
bs b7 
河岸 2 rb2 
图 3-1 哥 尼 斯 堡 城 图 3-2 哥 尼 斯 堡 桥 系 统 的 图 


此 外 ， 我 们 可 以 使 用 谓词 演算 来 表示 哥 尼 斯 堡 桥 系统 。 谓 词 connect 对 应 于 图 的 弧 ， 断 言 两 
个 地 方 是 通过 某 个 桥 连 接 的 。 每 座 桥 需要 两 个 connect 谓词 ， 对 应 于 穿越 这 座 桥 的 两 种 方向 。 使 
用 一 个 补充 谓词 表达 式 connect(X, Y, Z) = connect(Y, X, Z) 表示 可 以 以 两 个 方向 中 的 任意 一 个 方 
向 穿越 任 一 座 桥 ， 那 么 就 可 以 把 上 面 的 connect 谓词 删除 一 半 。 


connect(i1, i2, b1) connect(i2, i1, b1) 

connect(rb1, i1, b2) connect(i1, rb1, b2) 
connect(rb1, i1, b3) connect(i1, rb1, b3) 
connect(rb1, i2, b4) connect(i2, rb1, b4) 
connect(rb2, i1, b5) connect(i1, rb2, b5) 
connect(rb2, i1, b6) connect(i1, rb2, b6) 
connect(rb2, i2, b7) connect(i2, rb2, b7) 


如 果 使 用 一 个 补充 谓词 表达 式 connect(X, Y, Z) = connect(Y, X, Z) 表示 可 以 以 两 个 方向 中 的 
任意 一 个 方向 穿越 任 一 座 桥 ， 那 么 就 可 以 把 上 面 的 connect 谓词 删除 一 半 。 

从 所 保持 的 连接 性 来 看 ， 谓 词 演算 表示 和 图 表示 是 等 价 的 。 实 际 上 ， 算 法 可 以 在 这 两 种 表示 
之 间 相 互 翻译 ， 而 且 不 丢失 任何 信息 。 然 而 图 表示 可 以 使 问题 结构 可 视 化 ， 更 加 直观 ; 而 在 谓词 
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演算 表示 中 这 些 信息 是 隐 含 的 。 欧 拉 的 证 明说 明了 这 个 差异 。 

在 证 明 不 可 能 存在 满足 要 求 的 路 线 时 ， 欧 拉 把 问题 的 焦点 集中 在 图 中 结 点 的 度 (degree) 
上 。 注 意 ， 所 有 结 点 要 人 么 是 奇数 度 的 ， 要 人 么 是 偶数 度 的 。 偶 数 度 的 结 点 具有 偶数 条 弧 与 相 邻 结 点 
连接 。 奇 数 度 的 结 点 具有 奇数 条 弧 与 相 邻 结 点 连接 。 除 了 起 点 和 终点 以 外 ， 满 足 要 求 的 路 线 必 须 
符合 : 离开 某 个 结 点 的 度数 与 进入 这 个 结 点 的 度数 精确 相等 。 因 此 ， 奇 数 度 的 结 点 仅 可 用 做 路 线 
的 开始 和 结束 ， 因 为 这 些 结 点 被 穿越 几 次 后 就 成 了 “死胡同 ” ， 散 步 者 车 不 选择 以 前 走 过 的 弧 就 
无 法 离开 这 个 结 点 。 

欧 拉 指出 ， 除 非 一 个 图 正好 包含 0 或 2 个 奇数 度 的 结 点 ， 否 则 不 可 能 存在 满足 前 面 要 求 的 路 
线 。 如 果 有 两 个 奇数 度 结 点 ， 那 么 这 种 路 线 应 该 从 其 中 的 一 个 结 点 开始 ， 在 另 一 个 结 点 结束 ; 如 
果 没 有 奇数 度 结 点 ， 那 么 应 该 在 同一 个 结 点 出 发 和 结束 。 对 于 任何 含有 其 他 数量 奇数 度 结 点 的 
图 ， 这 种 行走 是 不 可 能 的 ， 哥 尼斯 堡 城 的 情况 也 是 如 此 。 这 个 问题 现在 被 称 为 “寻找 遍历 图 的 
欧 拉 路 径 ”。 

注意 : 虽然 谓词 演算 表示 捕 提 到 了 城中 桥 和 地 面 之 间 的 关系 ,但 是 它 无 法 让 人 想起 结 点 度 
数 的 概念 。 在 图 表示 中 ， 每 个 结 点 仅 有 一 个 实例 ， 结 点 之 间 有 弧 相 连 ， 并 不 像 谓词 集合 中 一 个 结 
点 多 次 作为 参数 出 现 。 由 于 这 个 原因 ， 图 表示 激发 了 结 点 度数 的 概念 ， 这 是 欧 拉 证 明 的 关键 。 这 
说 明了 图 论 在 分 析 对 象 结构 、 属 性 和 关系 方面 具有 强大 的 功能 。 

下 面 ，3. 1 节 将 回顾 基本 的 图 论 知识 ， 然 后 介绍 有 限 状 态 自 动机 和 问题 的 状态 空间 描述 。 
3.2 节 将 介绍 如 何 通过 作为 问题 求解 方法 的 图 搜索 来 求解 问题 。 深 度 优 先 搜索 和 宽度 优先 搜索 是 
搜索 状态 空间 的 两 种 策略 。 我 们 比较 了 这 两 种 策略 ， 还 分 析 了 目标 驱动 搜索 和 数据 驱动 搜索 的 
差异 。3. 3 节 说 明了 如 何 利 用 状态 空间 搜索 来 刻画 基于 逻辑 的 推理 。 贯 穿 本 章 的 主线 是 使 用 图 论 
来 分 析 各 种 问题 的 结构 和 复杂 度 。 


3.1 状态 空间 搜索 的 结构 


3.1.1 图 论 (选读 ) 


图 是 结 点 〈 或 状态 ) 的 集合 和 连接 这 些 结 点 的 绝 的 集合 。 带 标签 的 图 用 一 个 或 多 个 描述 符 
(标签 ) 附加 在 每 个 结 点 上 ， 以 把 这 个 结 点 与 图 中 其 他 结 点 区 分 开 来 。 在 状态 空间 图 中 ， 描 述 符 
标识 了 问题 求解 过 程 中 的 各 个 状态 。 如 果 两 个 结 点 的 描述 没有 差异 ， 那 么 就 认为 它们 是 相同 的 。 
两 个 结 点 之 间 的 驱 是 用 它 所 连接 结 点 的 标签 来 描述 的 。 

图 的 弧 也 可 以 有 标签 。 红 标 签 一 般 有 两 种 用 法 : 一 种 是 用 来 说 明 这 个 弧 代 表 的 是 一 种 命名 
关系 (就 像 在 语义 网 中 那样 ); 另 一 种 是 把 权 附 加 到 弧 上 (就 像 在 巡回 推销 员 问 题 中 那样 ) 。 如 
果 在 两 个 相同 结 点 间 有 不 同 的 弧 〈 比 如 在 图 3-2 中 ) ， 那 么 也 可 以 通过 加 标签 来 区 分 它们 。 

如 果 图 中 的 弧 具 有 方向 性 ， 那 么 这 个 图 便 是 e 
有 向 的 。 有 向 图 中 的 弧 通 常用 箭头 来 指示 方向 。 
具有 两 个 方向 的 弧 可 以 带 两 个 箭头 ， 但 更 多 时 候 d 
是 根本 不 画 出 方向 指示 符 。 图 3-3 是 一 个 带 标签 
的 有 向 图 : 弧 (a,b) 只 可 以 从 结 点 a 穿越 到 结 点 6 
b， 但 弧 (b, c) 可 以 从 两 个 方向 穿越 。 bp 

穿越 图 的 路 径 (path) 通过 多 个 相继 的 弧 把 ” 结 点 = {a,b,c,d,e} 
一 系列 结 点 连接 起 来 。 可 以 用 一 个 有 序 链表 来 表 强 = f(a,b),(a,d),(b,c),(c,b),(c,d),(d,a),(d,e),(e,c),(e,d)} 
示 路 径 ， 方 法 是 按 结 点 在 路 径 上 的 出 现 顺序 把 它 图 3-3 带 标签 的 有 向 图 
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们 记录 在 链表 中 。 以 图 3-3 为 例 ，[ a, b, c,d] 代表 了 依次 穿 过 结 点 a、b、c、d 的 路 径 。 

有 根 图 有 一 个 特别 的 结 点 ， 从 这 一 结 点 到 图 中 所 有 结 点 都 存在 一 条 路 径 ， 这 个 结 点 被 称 为 
根 〈root) 。 在 画 有 根 图 时 ， 通 常 把 根 画 在 页 面 的 上 方 ， 高 于 其 他 结 点 。 博 弈 的 状态 空间 图 通常 
是 有 根 图 ， 把 开局 作为 根 。 图 -5 中 的 有 根 图 表示 出 了 九宫 游戏 博弈 图 的 初始 部 分 。 这 是 一 个 
所 有 弧 都 只 有 一 个 方向 的 有 向 图 。 另 外 ， 注 意 这 幅 图 中 不 包含 环 ; 棋 手 不 可 以 取消 移动 (尽管 
他 们 有 时 很 希望 能 取消 !1) 。 

树 (tree) 是 两 个 结 点 之 间 至 多 有 一 条 路 径 的 图 。 树 通常 是 有 根 的 ， 这 时 树 根 经 常 被 画 在 上 
方 ， 像 有 根 图 那样 。 因 为 树 的 每 个 结 点 仅 有 一 条 路 径 供 其 他 结 点 访问 ， 所 以 不 可 能 存在 反复 或 特 
环 穿越 一 系列 结 点 的 路 径 。 

对 于 有 根 树 或 有 根 图 ， 可 以 把 结 点 之 间 的 关系 分 为 双亲 (parent) 、 a 
孩子 (child) 和 兄弟 (sibling) 。 这 些 关 系 的 用 法 与 通常 的 家 庭 关 系 一 
样 ， 在 有 向 弧 上 双亲 出 现在 它 的 孩子 之 前 。 一 个 结 点 的 多 个 孩子 被 称 为 ”。 c d 
兄弟 。 类 似 地 ， 在 有 向 图 的 某 个 路 径 上 ， 祖 先 (ancestor) 出 现在 后 代 八 ~、 
(descendant) 之 前 。 在 图 3-4 中 ，b 是 结 点 e 和 ff 的 双亲 (所 以 , 6 和 f J w @ eb. 外 
是 b 的 孩子 ， 它 们 彼此 间 是 兄弟 ) 。 结 点 a 和 c 是 状态 g、h 和 i 的 祖 。 fgh | 


先 ，g、h 和 i 是 a 和 c 的 后 代 。 图 3-4 用 来 例 示 家 庭 
下 面 我 们 先 给 出 这 些 概念 的 形式 定义 ， 然 后 再 介绍 如 何 使 用 状态 空 关系 的 有 根 树 
间 来 表示 问题 。 
定义 (图 ) 图 是 由 以 下 元 素 构成 的 : 
一 系列 结 点 N, ， N。， N,， “5 N,，， 机 不 要 求 一 定 是 有 限 的 。 


连接 结 点 对 的 一 系列 弧 。 

弧 是 有 序 的 结 点 对 ; 例如 ， 狐 (N。,N,) 把 结 点 Ns 连接 到 结 点 Ns。 这 说 明 从 Ns 到 Ns 存在 直 
接 的 连接 ， 但 不 能 说 明 Ns 到 Ns 也 如 此 ， 除 非 (N,,Ns) 也 是 一 个 弧 ， 这 种 情况 下 连接 N。 和 N, 的 
狐 便 是 无 向 的 。 

如 果 一 个 有 向 络 把 Ni 和 Nik 连接 起 来 ， 那 么 Ni 被 称 为 Ni 的 双亲 ，Nik 是 Ni 的 孩子 。 如 果 图 
中 还 包含 一 个 弧 (Ni,N) ， 那 么 Nk 和 Ni 是 兄弟 。 

有 根 图 具有 惟一 的 结 点 N。，N, 是 图 中 所 有 路 径 的 原点 。 也 就 是 说 ， 根 在 图 中 没有 双亲 。 

末端 结 点 或 叶 结 点 就 是 没有 孩子 的 结 点 。 

如 果 图 中 存在 一 个 有 序 的 结 点 序列 [ Ni, Ns, Ns,…, N,] ， 序 列 中 的 每 一 个 相 邻 结 点 对 Ni 和 
Ni; 都 是 一 个 弧 ， 即 (Ni,Ni,,) ， 那 么 就 把 这 个 序列 称 为 图 中 长 度 为 n 一 1 的 路 径 。 

在 有 根 图 的 一 条 路 径 上 ， 可 以 称 一 个 结 点 是 其 后 (其 右 侧 ) 所 有 结 点 的 祖先 ， 同 时 又 是 其 
前 (其 左 侧 ) 所 有 结 点 的 后 代 。 

如 果 一 条 路 径 包 含 某 一 结 点 多 次 〈( 某 个 结 点 N 重复 出 现在 路 径 上 )， 那 么 便 称 这 条 路 径 含 
有 循环 或 回路 。 
树 是 表示 每 个 结 点 对 之 间 只 有 一 条 惟一 路 径 的 图 (所 以 ， 树 上 的 路 径 不 包含 环 ) 。 

有 根 树 的 边 是 指向 离开 根 的 方向 。 有 根 树 中 的 每 个 结 点 都 有 惟一 的 双亲 。 

如 果 存 在 一 条 路 径 包 含 革 两 个 结 点 ， 那 么 就 说 这 两 个 结 点 是 连通 的 。 

下 面 我 们 介绍 有 限 状 态 自动 机 ， 它 是 计算 设备 的 一 种 抽象 表示 方式 ， 可 以 看 作 是 遍历 图 中 
路 径 的 一 种 自动 机 。 
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3. 1.2 有 限 状 态 自动 机 (选读 ) 


我 们 可 以 将 机 器 看 作 是 能 够 接受 输入 值 、 可 以 产生 输出 值 并 能 用 某 种 内 部 机 制 〈 状 态 ) 保 
存 跟踪 前 面 输入 信息 的 系统 。 有 限 状 态 自动 机 〔Finite State Machine，FSM ) 是 有 限 的 有 向 连通 
图 ,包括 状态 的 集合 、 输 入 值 的 集合 和 状态 转换 函数 ， 状 态 转换 函数 描述 输入 流 中 的 元 素 对 图 的 
状态 的 作用 。 输 入 值 流 在 图 中 生成 一 条 经 过 有 限 状 态 自动 机 状态 的 路 径 。 有 限 状态 自动 机 可 看 
作 计 算 的 抽象 模型 。 

这 种 机 器 最 初 被 用 来 识别 形式 语言 的 成 员 。 这 些 成 员 通常 是 字符 构成 的 串 〈“ 字 母 表 ” 上 字 
母 构成 的 “单词 " ) 。 在 5.3 节 ， 我 们 会 将 其 定义 扩展 到 概率 (probabilistic) 有 限 状 态 自动 机 。 
这 些 状 态 自 动机 在 语言 表达 式 分 析 中 起 着 重要 作用 ， 不 管 是 计算 机 语言 还 是 人 类 语言 ， 参 见 5.3 
节 、9.3 节 和 第 15 章 。 


定义 (有 限 状态 自动 机 ) ”一 个 有 限 状 态 自动 机 是 一 个 有 序 三 元 组 (S, 1 F) ， 其 中 : 

S 是 连通 图 中 状态 的 有 限 集 合 Si, So, Ss,…, Sh。 

1 是 输入 值 的 有 穷 全 合 i j,i，…, ino 

F 是 状态 转换 函数 , 描述 任意 je1 对 机 器 状态 S 的 作用 , 即 YViel,F: (S->S)。 如 果 机 器 正 处 
于 状态 S, 此 时 输入 i 那么 机 器 的 下 一 个 状态 是 Fi(si) 。 


举 一 个 有 限 状 态 自动 机 的 简单 例子 , 令 S = {so Ss1}, 1 ={0, 1}, f(so) =sofo(si) =(Ss1),f, 
(so) =si,f(s) =so。 用 这 个 装置 ， 有 时 称 为 触发 器 ， 输 入 值 0 不 改变 状态 ， 而 输入 1 会 改变 机 
器 的 状态 。 我 们 可 以 用 两 种 等 价 的 形式 来 形象 化 地 描述 这 个 机 器 ， 第 一 种 是 带 标签 和 有 向 红 的 
有 限 图 ， 如 图 3-5a 所 示 ; 第 二 种 是 状态 转换 表 ， 如 图 3-5b 所 示 。 在 状态 转换 表 中 ， 输 入 值 列 在 最 
顶 上 一 行 ， 状 态 列 在 最 左边 一 列 ， 一 个 输入 应 用 到 一 个 状态 时 的 输出 列 在 对 应 的 行列 相交 的 格 中 。 


0 DO 1 
1 ( su| s。 Ss 


a) 有 限 状 态 图 b ) 状态 转换 表 
图 3-5 触发 器 的 有 限 状 态 图 和 状态 转换 表 
有 限 状 态 自动 机 的 第 二 个 例子 由 图 3-6a 中 的 有 向 图 和 图 3-6b 的 状态 转换 表 描 述 。 图 3-6 的 
有 限 状 态 自动 机 描述 了 什么 呢 ? 在 两 个 假定 下 ， 这 个 机 器 可 以 看 作 是 字母 表 {a, b,c, dj 上 所 有 包 
含 序列 “abc” 的 字符 串 的 识别 器 。 第 一 个 假定 是 状态 so 是 起 始 状态 ， 第 二 个 假定 是 ss 是 接受 
状态 。 这 样 ， 输 入 流 的 第 一 个 元 素 将 作用 于 状态 so。 如 果 输 和 人 流 最 后 结束 时 机 器 处 于 状态 ss， 
那么 机 器 将 识别 出 输入 流 中 有 序列 “abc”。 


a a,b,c,d 

a bp el) 

Sn 
SR 


a ) 有 限 状 态 图 b ) 状态 转换 表 
图 3-6 字符 串 识别 例子 


d 
Su 
S 
S 
Ss, 
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上 面 介绍 的 是 有 限 状 态 接受 自动 机 ， 有 时 又 称 为 摩尔 机 (Moore machine)。 我 们 约定 用 一 个 
没有 起 点 状态 的 箭头 指出 摩尔 机 的 起 始 状态 ， 并 用 特殊 的 圆圈 〈 通 常 是 双 圈 ) 表示 接受 状态 
《可 能 有 多 个 ) ， 如 图 3-6 所 示 。 现 在 给 出 摩尔 机 的 形式 化 定义 ; 


定义 (有限 状态 接受 器 (摩尔 机 )) 一 个 有 限 状态 接受 器 是 一 个 有 限 状 态 自动 机 ( S,1, F) ， 
其 中 : 

Soe S 使 得 输入 流 从 se 状态 开始 。 

3 了 sn e S, s, 是 接受 状态 。 输 入 流 被 接受 , 如 果 它 使 机 器 停止 在 接受 状态 。 实 际 中 很 可 能 有 一 
个 接受 状态 的 集合 。 

有 限 状 态 接受 器 表示 为 (S, so, {s,}, 1 F)。 


我 们 给 出 了 一 种 强 有 力 的 概念 的 两 个 相当 简单 的 例子 。 在 自然 语言 理解 〈 第 15 章 ) 部 分 ， 
我 们 将 看 到 有 限 状 态 识别 器 是 确定 一 类 字符 、 词 或 句子 是 否 具 有 需要 的 属性 的 重要 工具 。 一 个 
有 限 状 态 接受 器 基于 它 接受 的 字母 (字符 ) 集合 和 接受 的 词 〈 串 ) 的 集合 隐 含 定义 了 一 个 形式 
语言 。 

我 们 只 介绍 了 确定 性 (deterministic) 有 限 状 态 自 动机 ， 任 意 输入 值 对 一 个 状态 的 转换 函数 
给 出 惟一 的 后 续 状 态 。 概 率 有 限 状态 自动 机 是 另 一 种 重要 的 建 模 技术 ， 其 转换 函数 为 一 个 状态 
下 的 每 个 输入 定义 一 个 输出 状态 的 分 布 。 我 们 将 在 5. 3 节 和 第 15 章 考 虑 这 种 模型 。 下 面 我 们 考 
虑 问题 求解 分 析 的 一 种 更 通用 的 图 形 表示 : 状态 空间 。 


3.1.3 问题 的 状态 空间 表示 


在 问题 的 状态 空间 表示 (state space representation) 中 ， 图 的 结 点 对 应 于 部 分 问题 解 的 状态 ， 
弧 对 应 于 问题 求解 过 程 中 的 各 个 步 又 。 一 个 或 多 个 初始 状态 (initial state) 对 应 于 问题 实例 中 的 
给 定 信 息 ， 并 成 为 图 的 根 。 图 还 定义 了 一 个 或 多 个 目标 情形 ， 即 问题 实例 的 解 。 状 态 空间 搜索 
( state space search) 把 问题 求解 过 程 当 作 寻 找 一 条 从 起 始 状态 到 目标 状态 的 解 路 径 〈solution 
path ) 。 

目标 可 以 描述 一 种 状态 ， 比 如 九宫 游戏 中 胜利 的 棋 
盘 状 态 (图 且 -5), 或 8 格 拼图 游戏 中 的 目标 布局 ( 见 
图 3-7) 。 或 者 ， 也 可 以 描述 解 路 径 本 身 的 某 种 属性 。 在 





巡回 推销 员 问题 ( 见 图 3-9 和 图 3-10) 中 ， 当 发 现 了 穿 四 国 
越 图 中 所 有 结 点 的 “最 短 ” 路 径 时 便 终止 搜索 。 在 语法 7|els| 
分 析 的 例子 〈 见 3.3 节 ) 中 ， 如 果 找 到 了 可 以 成 功 分 析 15 格 拼图 游戏 8 格 拼图 游戏 
请 凶 结 构 的 路 径 ， 那么 终止 搜索 。 图 3-7 15 格 拼图 游戏 和 8 格 拼图 游戏 


状态 空间 的 弧 对 应 于 求解 过 程 的 各 个 步 又， 穿越 空 
间 的 路 径 代 表 不 同 完成 阶段 中 的 解 。 路 径 是 这 样 被 搜索 的 : 从 起 始 状态 开始 并 顺 着 图 继续 ， 直 到 
满足 目标 描述 或 放弃 搜索 。 通 过 对 路 径 上 已 存在 状态 应 用 算 子 可 以 生成 新 的 状态 ， 算 子 可 以 是 
博弈 中 的 “合法 移动 ”也 可 以 是 逻辑 问题 或 专家 系统 中 的 推理 规则 。 搜 索 算 法 的 任务 是 找到 一 
条 穿越 这 种 问题 空间 的 解 路 径 。 因 此 ， 搜 索 算法 必须 把 起 始 结 点 到 目标 结 点 的 路 径 记 录 下 来 ， 因 
为 这 些 路 径 包 含 了 产生 问题 解 的 操作 序列 。 

现在 我 们 给 出 问题 的 状态 空间 表示 的 形式 定义 。 


定义 (状态 空间 搜索 ) ”一 个 状态 空间 可 表示 为 一 个 四 元 组 [N, A, S, GD] ， 其中: 
N 是 图 的 结 点 或 状态 的 集合 。 图 的 结 点 对 应 于 问题 求解 过 程 中 的 各 个 状态 。 
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人 A 是 结 点 之 间 弧 〔〈 也 就 是 连接 ) 的 集合 。 图 的 缴 对 应 于 问题 求解 过 程 中 的 各 个 步骤 。 

S 是 NN 的 非 空子 集 ， 含有 问题 的 起 始 状 态 。 

GD 是 NN 的 非 空 子 集 ， 含有 问题 的 目标 状态 。 可 以 通过 以 下 任 一 种 方式 来 描述 GD 中 的 
状态 : 

1) 搜索 中 遇 到 的 状态 的 一 种 可 测量 属性 。 

2) 搜索 中 探索 到 的 路 径 的 一 种 可 测量 属性 ， 例 如 路 径 的 缴 的 穿越 成 本 (transition cost ) 。 

解 路 径 是 穿越 图 的 一 条 特殊 路 径 ， 它 从 S 中 的 一 个 结 点 开始 ， 到 GD 中 的 一 个 结 点 结束 。 


很 多 图 都 具有 这 样 一 个 一 般 特 征 ， 即 有 时 可 以 从 不 同 的 路 径 到 达 相 同 的 状态 ， 这 是 图 搜索 
算法 设计 中 经 常 遇 到 的 问题 之 一 。 例 如 ,在 图 3-3 中 ， 从 状态 a 到 状态 d 的 路 径 既 可 以 经 过 b 和 
c， 又 可 以 直接 从 a 到 d。 这 使 得 根据 问题 的 需要 选取 最 佳 路 径 尤 其 重要 。 此 外 ， 到 达 一 个 状态 
的 多 条 路 径 可 能 导致 解 路 径 上 出 现 循环 或 回路 ， 阻 碍 算法 达到 目标 。 例 如 ， 以 图 3-3 中 状态 e 为 
目标 的 盲目 搜索 可 能 永 不 停止 地 搜索 这 个 状态 序列 : abcdabedabed…… 

如 果 要 搜索 的 空间 是 树 (如 图 3-4 所 示 ) ， 那 么 就 不 会 发 生 循环 问题 。 因 此 ， 把 状态 空间 是 
树 的 问题 和 状态 空间 可 能 含有 回路 的 问题 区 别 开 来 是 很 重要 的 。 通 用 的 图 搜索 算法 必须 能 够 检 
测 和 消除 解 路 径 上 的 潜在 循环 ， 而 树 搜索 免除 了 这 种 测试 和 相应 的 开销 ， 从 而 可 以 得 到 更 高 的 
效率 。 
下 面 以 九宫 游戏 和 8 格 拼 图 游戏 为 例 来 介绍 简单 博弈 的 状态 空间 。 这 两 个 例子 的 终止 条 件 都 
是 上 述 我 们 状态 空间 搜索 定义 中 的 第 一 种 类 型 。 例 3.1.3 的 “巡回 推销 员 问 题 ” 的 目标 是 描述 
第 二 种 类 型 和 路 径 自 身 的 总 代价 。 


例 3.1.1 九宫 游戏 

图 工 -5 显示 了 九宫 游戏 的 状态 空间 表示 。 起 始 状 态 是 空 的 棋盘 ,终止 条 件 ( 即 目标 描述 ) 
是 三 个 X 在 一 行 、 一 列 或 对 角 线 上 这 样 的 棋盘 状态 〈 假 定 目标 是 X 方 胜 ) 。 从 起 始 状态 到 目标 状 
态 的 路 径 代 表 了 赢得 一 盘 棋 的 走 子 序列 。 

空间 中 的 状态 就 是 游戏 中 可 能 产生 的 所 有 不 同 X 和 O 的 布局 。 当 然 ， 尽 管 在 9 个 空格 中 排 
列 { 空 ,X, DJ 有 3 种 方式 ， 但 是 它们 中 的 大 多 数 是 从 来 不 会 在 一 盘 实际 对 弈 中 发 生 的 。 弧 是 博弈 
中 的 合法 移动 所 产生 的 ， 合 法 移动 就 是 交 蔡 向 未 用 过 的 位 置 放 X 和 O。 这 个 状态 空间 是 图 而 不 
是 树 ， 因 为 可 以 从 不 同 路 径 到 达 第 三 层 或 更 深层 的 某 些 结 点 。 然 而 在 这 个 状态 空间 中 不 存在 环 ， 
因为 图 的 有 向 弧 决 定 了 移动 是 不 可 以 撤销 的 。 一 旦 已 经 到 达 某 个 状态 就 不 可 能 返回 到 这 个 结构 
的 更 上 层 。 因 此 在 生成 路 径 时 没有 必要 检查 环 。 我 们 把 具有 这 种 特征 的 图 结构 称 为 有 向 非 循 环 图 
(directed acyclic graph) ， 或 DAG， 这 种 图 在 状态 空间 搜索 和 图 模型 〈 见 第 13 章 ) 中 是 很 常见 的 。 

状态 空间 表示 也 为 确定 问题 的 复杂 度 提 供 了 一 种 途径 。 在 九宫 游戏 中 ， 第 一 次 移动 有 9 种 情 
况 ， 对 每 一 种 情况 有 8 种 可 能 的 回应 ， 对 这 8 种 中 的 每 一 种 又 有 7 种 可 能 的 回应 ， 依 此 类 推 。 这 
可 产生 9 x8 x7 x… 也 就 是 9! 种 不 同 的 路 径 。 尽 管 对 计算 机 来 说 ， 穷 举 搜索 这 一 数量 (362 
880) 的 路 径 不 是 不 可 能 的 ， 但 是 很 多 重要 的 问题 尽管 规模 要 大 得 多 ， 但 是 其 复杂 度 也 是 阶乘 级 
的 或 指数 级 的 。 国 际 象 棋 有 10” 种 可 能 的 博弈 路 径 ;， 西洋 跳棋 有 10 ”种 可 能 的 博弈 路 径 ， 其 中 某 
些 情 况 可 能 从 来 不 会 在 实际 的 博弈 中 发 生 。 穷 举 搜索 这 样 的 空间 是 非常 困难 的 ， 也 是 不 可 能 的 。 
用 来 搜索 这 种 庞大 空间 的 策略 必须 使 用 启发 式 搜索 来 降低 搜索 的 复杂 度 〈 见 第 4 章 )。 

例 3.1.2 8 格 拼图 游戏 

在 图 3-7 所 示 的 15 格 拼图 游戏 中 ，15 张 不 同 的 牌 被 嵌 进 具有 16 个 空位 的 方 格 中 。 留 出 一 个 
空位 是 为 了 可 以 把 牌 移 来 移 去 以 组 成 不 同 的 花样 。 我 们 的 目标 是 找到 一 个 移动 序列 使 棋盘 呈现 
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出 菜 种 目标 格局 。 这 是 一 种 很 常见 的 游戏 ， 我 们 很 多 人 小 时 候 都 玩 过 (我 记得 的 版 本 是 棋盘 大 
约 有 3 英寸 见方 ， 是 黑色 的 ， 牌 是 红色 的 和 白色 的 )。 

这 种 棋 的 很 多 有 趣 特征 使 它 对 研究 问题 求解 的 人 员 来 说 非常 有 价值 。 它 的 状态 空间 大 小 足 
以 令 人 感 兴趣 ,但 又 不 是 特别 难以 处 理 ( 如 果 把 对 称 状态 当 作 独 立 情况 ， 那 么 是 161) 。 这 种 游 
戏 的 博弈 状态 易于 表示 ; 其 走 法 的 丰富 性 足以 提供 很 多 有 趣 的 启发 〈( 见 第 4 章 ) 。 

8 格 拼图 游戏 是 15 格 拼图 游戏 的 3 x3 版 本 ， 可 以 把 8 张 牌 在 9 个 空位 中 移 来 移 去 。 因 为 8 
格 拼图 游戏 产生 的 状态 空间 比 完整 的 15 格 拼图 游戏 要 小 ， 且 它 的 状态 空间 图 容易 放 在 一 页 内 ， 
所 以 本 书 的 很 多 例子 都 使 用 了 8 格 拼图 游戏 。 

尽管 在 实际 游戏 中 具体 的 操作 是 移动 每 张 牌 ( 比 如 “如 果 7 这 张 牌 的 右 侧 是 空位 ， 那 么 就 
可 以 把 7 向 右 移 ”或 “把 3 这 张 牌 向 下 移 ”) ， 但 是 按 “ 移 动 空位 ”来 思考 会 更 加 简单 。 这 简化 
了 移动 规则 的 定义 ， 因 为 牌 有 8 张 ， 但 空位 仅 有 一 个 。 为 了 完成 移动 ， 我 们 必须 确保 不 把 空位 移 
到 棋盘 之 外 。 所 以 ,4 种 移动 不 是 在 所 有 时 候 都 是 适用 的 ; 例如 ， 当 空位 在 角落 时 ， 只 可 能 有 两 
种 移动 。 

因此 ， 合 法 移动 有 以 下 4 种 : 

向 上 移动 空位 上 

向 右 移动 空位 一 

向 下 移动 空位 

向 左 移 动 空位 二 

如 果 我 们 确定 了 8 格 拼图 游戏 的 起 始 状态 和 目标 状态 ， 那 么 就 可 以 给 出 针对 这 个 问题 求解 过 
程 的 状态 空间 〈( 见 图 3-8) 。 可 以 利用 一 个 简单 的 3 x 3 数组 来 表示 状态 。 如 果 采 用 谓词 演算 表 
示 ， 就 可 以 使 用 一 个 带 9 个 参数 (对 应 格子 上 号 的 位 置 ) 的 “状态 ”谓词 。4 种 移动 过 程 ( 描 
述 了 空位 的 4 种 可 能 移动 ) 定义 了 状态 空间 中 的 弧 。 











图 3-8 通过 移动 空位 产生 的 8 格 拼图 游戏 的 状态 空间 


与 九 官 游戏 一 样 ，8 格 拼图 游戏 的 状态 空间 也 是 图 (大 多 数 状态 有 多 个 双亲 ) ， 但 与 九宫 游 
戏 不 同 的 是 ， 可 能 存在 回路 。 状 态 空间 的 GD (也 就 是 目标 描述 ) ， 是 一 种 特定 状态 ， 或 者 说 棋 
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盘 格 局 。 当 在 一 条 路 径 上 发 现 了 这 种 状态 时 ， 搜 索 便 终止 了 。 从 起 始 到 目标 的 路 径 就 是 满足 要 求 
的 移动 序列 。 

一 个 有 趣 的 现象 是 8 格 拼图 游戏 和 15 格 拼 图 游戏 的 整个 状态 空间 是 由 两 个 不 相连 的 (而 且 
是 大 小 相等 的 ) 子 图 组 成 。 这 使 得 从 任何 给 定 起 始 状 态 开始 的 搜索 都 只 能 到 达 搜 索 空间 中 的 一 
半 可 能 状态 。 如 果 我 们 交换 或 援 动 两 块 近 邻 的 牌 ， 那 么 就 可 以 访问 到 搜索 空间 的 其 他 部 分 。 


例 3.1.3 巡回 推销 员 问 题 

假定 一 个 推销 员 要 访问 五 个 城市 然后 回 到 家 。 
这 个 问题 的 目标 是 找到 推销 员 访问 所 有 城市 并 回 到 
出 发 城市 的 最 短 旅行 路 径 。 图 3-9 给 出 了 这 个 问题 的 
一 个 实例 。 图 中 结 点 表示 城市 ， 每 个 弧 标 有 一 个 权 
表示 通过 这 个 弧 的 开销 。 这 个 开销 可 能 是 在 两 个 城 
市 之 间 乘 汽车 所 必需 的 里 程 或 乘 飞 机 所 必需 的 费用 。 
为 了 简便 ， 我 们 假定 推销 员 住 在 A 城 并 要 返回 那里 ， 
不 过 这 个 假定 仅 是 把 N 个 城市 的 问题 缩减 为 (N -1) 
个 城市 的 问题 。 

路 径 [A, D, C, B, E, A] 是 可 能 路 线 的 一 个 例子 ， 
它 的 关联 成 本 是 450 英里 。 目 标 描 述 需 要 一 个 费用 图 3-9 巡回 推销 员 问题 的 一 个 实例 
最 低 的 完整 路 线 。 注 意 这 里 的 目标 描述 是 整个 路 径 
的 属性 ， 而 不 是 单一 的 状态 。 这 对 应 于 状态 空间 搜索 定义 中 的 第 二 类 目标 描述 。 

图 3-10 显示 了 产生 和 比较 可 能 解 路 径 的 一 种 方式 。 从 结 点 A 出 发 ， 加 入 可 能 的 下 一 个 状态 
直到 路 径 中 包含 了 所 有 城市 ， 而 且 返 回 到 家 。 最 终 目 标 是 要 找到 具有 最 小 开销 的 路 径 。 








路 径 : 路 径 : 路 径 ， 
ABCDEA ABCEDA ABDCEA 
成 本 : 成 本 : 成 本 : 
375 425 475 


图 3-10 巡回 推销 员 问 题 的 搜索 过 程 
注 : 每 个 弧 标 出 了 从 起 点 〈A) 到 弧 端 点 的 路 径 的 权 累 加 值 
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根据 图 3-10 可 以 得 出 ， 穷 举 搜索 巡回 推销 员 问 题 的 复杂 度 是 (N - 1)! ， 其 中 N 是 图 中 城市 
的 个 数 。 对 于 9 个 城市 的 情况 ， 我 们 可 以 穷 举 试验 所 有 的 路 径 ， 但 对 于 令 人 感 兴趣 的 任意 规模 的 
问题 实例 ， 比 如 50 个 城市 ， 我 们 就 无 法 在 可 行 的 时 间 内 完成 简单 的 穷 举 搜索 。 实 际 上 ， 对 于 复 
杂 度 为 N! 的 搜索 ， 由 于 其 空间 增长 速度 非常 快 ， 所 以 搜索 组 合 很 快 变 得 难以 控制 。 

我 们 可 以 使 用 几 种 技术 来 降低 搜索 复杂 度 。 一 种 技术 叫做 分 支 定 界 (branch and bound) 
( Horowitz and Sahni 1978) 。 分 支 定 界 每 次 仅 产 生 一 条 路 径 ， 并 记录 目前 为 止 已 发 现 的 最 佳 路 径 。 
而 且 把 这 个 值 作为 以 后 候选 对 象 的 界限 (bound)。 该 算法 一 边 逐 一 加 入 城市 构建 路 径 ， 一 边 对 
目前 路 径 进行 分 析 。 如 果 发 现 这 个 路 径 的 最 佳 100 
可 能 扩展 〈 即 分 支 ) 的 成 本 大 于 界限 的 成 本 ， 
那么 它 就 排除 这 个 路 径 和 它 的 所 有 可 能 扩展 。 
这 样 做 虽然 大 大 降低 了 搜索 工作 量 , 但 还 剩 下 
指数 数量 (1. 26" ， 而 不 是 N! ) 的 路 径 。 

控制 搜索 的 另 一 种 策略 是 根据 规则 “去 最 
近 的 未 访问 过 城市 ”来 构建 路 径 。 穿 越 图 3-11 
的 最 近邻 路 径 是 [ A, E, D, B, C, A] ， 它 的 成 本 
是 375 英里 。 这 种 方法 是 非常 高 效 的 ， 因 为 仅 
要 试验 一 种 路 径 。 最 近邻 〈 也 称 作 贪 禁 ) 启发 





短 的 路 径 ， 见 图 3-11 ， 但 是 当时 间 要 求 使 穷 举 注 : 图 中 的 粗 线 是 最 近邻 方法 找到 的 最 低 成 本 路 径 。 注 意 ， 
搜索 不 可 行 时 可 以 把 它 作 为 一 种 补充 的 方法 。 这 个 路 径 的 成 本 是 550 英里 ， 并 不 是 最 短 的 路 径 。 弧 


我 们 在 3. 2 节 分 析 用 于 状态 空间 搜索 的 。 。 〈C，4A) 相对 很 高 的 成 本 使 这 种 启发 失败 
策略 。 


3.2 ”用 于 状态 空间 搜索 的 策略 


3.2.1 数据 驱动 搜索 和 目标 驱动 搜索 


可 以 按 两 个 方向 来 搜索 状态 空间 :从 问题 实例 的 给 定数 据 出 发 向 目标 搜索 ; 或 从 目标 出 发 
返回 到 数据 。 

数据 驱动 搜索 (data - driven search) (有 时 也 称 为 正 向 追 索 〈forward chaining) ) 中 ， 问 题 求 
解 器 从 问题 的 给 定 事实 和 改变 状态 的 合法 移动 或 规则 的 集合 人 手 。 然 后 把 规则 应 用 到 事实 产生 
新 的 事实 ， 接 下 来 新 的 事实 又 被 规则 用 来 产生 更 多 新 的 事实 。 搜 索 便 如 此 继续 下 去 ， 直 到 《我 
们 希望 ) 产生 满足 目标 条 件 的 一 条 路 径 。 

也 可 以 采用 另 一 种 策略 : 从 想 要 求解 的 目标 着 手 。 先 分 析 怎 样 使 用 规划 或 合法 移动 来 产生 
这 个 目标 并 求 出 要 应 用 这 些 规则 或 移动 必须 具有 哪些 条 件 。 这 些 条 件 成 为 要 搜索 的 新 目标 ， 或 
者 称 为 子 目 标 (subgoal) 。 然后 继续 反 向 追溯 相继 的 子 目标 ， 直到 (我 们 希望 ) 返回 到 问题 中 的 
事实 。 这样 便 找到 了 从 数据 到 目标 的 移动 或 规则 链 ， 但 顺序 是 倒序 的 。 这 种 方法 称 为 目标 驱动 
( goal-driven) 推理 ， 或 者 称 为 反 向 追 索 (backward chaining) ， 它 让 我 们 想起 了 一 种 简单 的 儿童 游 
戏 ， 从 终点 到 起 点 反 向 地 寻找 穿越 迷宫 的 路 线 。 

概括 地 讲 ， 数 据 驱 动 推理 是 从 问题 的 事实 人 手 ,然后 应 用 规则 或 合法 移动 来 产生 通 往 目标 
的 新 的 事实 ， 目 标 驱动 推理 是 把 焦点 集中 在 目标 上 ， 寻 找 可 以 产生 这 个 目标 的 规则 ， 并 环 环 相 扣 
地 反 向 追 索 相 继 的 规则 和 子 目 标 直到 到 达 问 题 中 给 定 的 事实 。 
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归根 到 底 ， 无 论 是 数据 驱动 的 问题 求解 器 还 是 目标 驱动 的 问题 求解 器 ， 它 们 搜索 的 都 是 同 
一 个 状态 空间 图 ; 不 过 ， 这 两 种 问题 求解 器 搜索 的 顺序 和 搜索 的 实际 状态 数量 有 所 不 同 。 到 底 应 
该 优先 选择 哪 一 种 策略 应 该 由 问题 本 身 的 特征 来 决定 。 这 些 特征 包括 规则 的 复杂 度 、 状 态 空间 
的 “形状 ”、 问 题 中 的 已 知 数据 和 这 些 数据 的 属性 。 而 所 有 这 些 特征 都 会 因 问 题 的 不 同 而 有 所 
差异 。 

下 面 举例 说 明 搜 索 策略 对 搜索 复杂 度 可 能 造成 的 影响 。 考 虑 这 样 一 个 问题 : 确认 或 否认 这 
个 命题 “我 是 托马斯 杰 斐 进 的 后 代 ”。 解 便 是 “我 ”和 托马斯 .杰斐逊 间 的 直系 血统 路 径 。 可 
以 从 两 个 方向 搜索 这 个 空间 : 从 “我 ”开始 顺 着 先辈 的 路 线 到 托马斯 . 杰 斐 了 还; 或 者 从 托 马 
斯 :杰斐逊 开始 顺 着 他 的 后 代 展 开 分 析 。 

如 果 做 一 些 简单 的 假定 ， 那 么 就 可 以 估计 出 每 个 方向 要 搜索 的 空间 大 小 。 托 马 斯 . 杰斐逊 
大 约 出 生 在 250 年 前 ， 如 果 我 们 假定 25 年 繁 往 一代， 那么 要 求 的 路 径 长 度 大 约 是 10。 因 为 每 个 
人 的 双亲 数 是 固定 的 (两 个 )， 那么 从 “我 ”向 上 搜索 需要 分 析 2" 数 量 级 个 前 辈 。 从 托马斯 ， 
杰斐逊 开始 的 正 向 搜索 需要 分 析 更 多 的 状态 ， 因 为 人 们 往往 有 两 个 以 上 的 孩子 〈 尤 其 是 在 18 世 
纪 和 19 世纪 ) 。 如 果 我 们 假定 每 个 家 庭 平均 有 3 个 孩子 ， 那 么 需要 分 析 3" 数 量 级 个 结 点 的 家 族 
树 。 所 以 ， 从 “我 ”向 上 搜索 要 分 析 的 结 点 数 较 少 。 但 应 该 注意 到 两 个 方向 的 复杂 度 都 是 指数 
级 的 。 

对 数据 驱动 方法 和 目标 驱动 方法 的 选择 依赖 于 要 解决 的 问题 的 结构 。 对 于 以 下 情况 建议 使 
用 目标 驱动 搜索 : 

1) 目标 或 假设 是 在 问题 陈述 中 给 出 的 ， 或 者 它们 很 容易 被 形式 化 。 例 如 ， 在 数学 定理 证 明 
程序 中 ， 目 标 是 要 证 明 的 定理 。 很 多 诊断 系统 以 一 种 系统 的 方式 考虑 可 能 的 诊断 ， 并 利用 目标 驱 
动 推理 来 确认 或 排除 这 些 可 能 的 诊断 。 

2) 与 问题 事实 匹配 的 规则 数量 非常 多 ， 因 而 产生 的 结论 或 目标 也 越 来 越 多 。 因 为 较 早 地 选 
择 目标 可 以 有 效 排除 大 量 分 支 ， 所 以 目标 驱动 搜索 可 以 更 高 效 地 剪除 这 种 空间 〈 见 图 3-12) 。 例 
如 ， 在 数学 定理 证 明 程序 中 ， 用 来 产生 给 定 定理 的 规则 数 通 常 远 远 小 于 可 以 应 用 到 整个 公理 集 
的 规则 数 。 





图 3-12 目标 驱动 的 状态 空间 搜索 ， 目 标 驱 动 搜索 有 效 地 前 除了 无 关 的 搜索 路 径 


3) 问题 数据 不 是 给 定 的 ， 而 是 要 由 问题 求解 器 来 获取 的 。 在 这 种 情 闹 下， 目标 驱动 搜索 可 
以 引导 如 何 获 取 数 据 。 例 如 在 医疗 诊断 程序 中 ， 现 有 的 诊断 化 验 种 类 非常 多 。 医 生 仅 建议 那些 对 
确认 或 排除 某 个 假设 有 必要 的 化 验 。 

可 见 ， 目 标 驱动 搜索 是 使 用 关于 预期 目标 的 知识 来 引导 搜索 ， 通 过 相关 的 规则 来 排除 空间 分 支 。 
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数据 驱动 搜索 ( 见 图 3-13) 适合 的 问题 包括 : 

1) 问题 的 初始 陈述 给 出 了 所 有 或 大 部 分 数据 。 解 释 问题 经 常 符合 这 种 情况 ， 给 出 一 系列 数 
据 并 要 求 系统 提供 一 个 高 层 的 解释 。 分 析 特 定数 据 的 系统 适合 采用 数据 驱动 方法 ， 比 如 勘探 程 
序 (PROSPECTOR) 或 Dipmeter 程 序 ， 它 们 对 地 质数 据 进 行 解释 ， 或 者 分 析 某 个 地 方 可 能 草 茂 
什么 矿 。 

2) 潜在 目标 的 数量 非常 庞大 ,但 是 使 用 特定 问题 实例 的 给 定 信 息 和 事实 的 方式 很 有 限 。 
DENDRAL 程序 是 这 样 的 一 个 例子 ， 它 是 一 个 用 来 分 析 有 机 化 合 物 分 子 结构 的 专家 系统 ， 这 个 系 
统 的 分 析 依据 是 化 合 物 的 分 子 式 、 大 规模 的 光谱 数据 以 及 其 他 化 学 知识 。 对 任何 一 种 有 机 化 合 
物 来 说 ， 都 存在 数量 极其 可 观 的 可 能 结构 。 然 而 ， 大 规模 的 化 合 物 光谱 数据 使 DENDRAL 可 以 排 
除 这 些 可 能 结构 中 的 大 多 数 ， 仅 留 下 其 中 的 很 少 几 个 结构 。 

3) 难以 组 成 目标 或 假设 。 比 如 在 使 用 DENDRAL 的 情况 中 ， 初 始 时 可 能 对 化 合 物 的 可 能 结 
构 知 之 甚 少 。 





推理 方向 


数据 
图 3-13 数据 驱动 的 状态 空间 搜索 


数据 驱动 搜索 使 用 了 从 一 个 问题 的 已 经 数据 中 提取 的 知识 和 约束 ， 引 导 搜 索 沿 着 已 知 的 路 
线 到 正解 。 

总 而 言 之 ， 必 须 针 对 待 解决 的 特定 问题 进行 深入 的 分 析 ， 这 是 必 不 可 少 的 。 要 考虑 的 因素 包 
括 : 规则 应 用 的 分 支 因 子 (branching factor) 〈 即 平均 起 来 ， 按 每 个 方向 规则 应 用 所 产生 的 新 状 
态 数量 。 参 见 第 4 章 ) 、 数 据 的 可 用 性 以 及 确定 潜在 目标 的 简易 性 。 


3.2.2 图 搜索 的 实现 


不 论 是 使 用 目标 驱动 搜索 还 是 数据 驱动 搜索 来 求解 问题 ， 问 题 求解 器 都 必须 在 状态 空间 图 
中 找到 一 条 从 起 始 状态 到 目标 的 路 径 。 这 条 路 径 的 驱 序 列 对 应 了 有 序 的 求解 步骤 。 如 果 问 题 求 
解 器 被 赋予 了 神 论 或 其 他 确实 可 靠 的 机 制 来 选取 解 路 径 ， 那 么 就 不 再 需要 搜索 ， 问 题 求解 器 会 
不 犯 任何 错误 地 穿越 空间 到 达 预 期 目标 ， 而 且 一 边 行进 一 边 就 建立 了 解 路 径 。 因 为 对 于 我 们 感 
兴趣 的 问题 来 说 神 论 是 不 存在 的 ， 所 以 问题 求解 器 必须 考虑 穿越 空间 的 不 同 路 径 直到 找到 目标 。 
回 湖 〈backtracking) 是 系统 地 尝试 穿越 状态 空间 的 所 有 路 径 的 一 种 技术 。 

我 们 从 回溯 开始 讨论 搜索 方法 的 原因 是 ， 回 溯 技 术 是 计算 机 科学 家 最 早 研究 的 搜索 算法 之 
一 ， 而 且 它 可 以 在 面向 堆栈 的 递归 环境 中 自然 地 实现 。3. 2. 3 节 将 结合 深度 优先 搜索 ( depth-first 
search) 给 出 回溯 算法 的 一 个 较 简 单 版 本 。 

回溯 搜 索 从 起 始 状态 出 发 沿 一 条 路 径 前 进 直到 要 人 么 到 达 目 标 ， 要 人 么 到 达 一 个 “ 死 端 "。 如 果 
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发 现 了 目标 ， 它 退出 搜索 并 返回 解 路 径 。 如 果 到 达 的 是 一 个 死 端 ， 那么 它 便 回 湖 到 路 径 上 含有 未 


分 析 过 最 近 兄弟 结 点 ， 并 沿 这 个 分 支 继续 下 去 ， 如 下 面 的 递归 规则 所 述 : 


如 果 当 前 状态 S 不 满足 目标 描述 的 要 求 ， 那 么 便 产 生 它 它 的 第 一 个 后 代 Soua ， 并 对 这 个 结 点 
递归 地 应 用 回潮 过 程 。 如 果 回 淹没 有 在 以 Sewa 为 根 的 子 图 上 发 现 目标 结 点 ， 那 么 便 对 它 的 兄弟 
See 应 用 递归 过 程 。 继 续 上 面 的 过 程 直到 一 个 孩子 的 某 个 后 代 是 目标 结 点 或 已 经 搜索 了 所 有 的 孩 
子 。 如 果 S 的 孩子 没有 一 个 可 以 通 向 目标 ， 那 么 回潮 便 “ 无 功 而 返 ” 到 S 的 双亲 ， 并 在 那里 对 S 


的 兄弟 应 用 以 上 过 程 ， 依 此 类 推 。 


这 种 算法 不 断 搜索 直到 找到 一 个 目标 或 穷 举 了 状态 空间 。 图 3-14 显示 了 把 回 湖 算 法 应 用 到 
一 个 假想 状态 空间 的 情况 。 眠 箭头 方向 代表 搜索 沿 空间 上 下 的 过 程 。 每 个 结 点 旁边 的 数字 指出 


了 它 被 访问 的 顺序 。 下 面 定义 一 种 回 湖 算法 ， 我 们 使 用 3 个 列表 来 记录 状态 空间 中 的 结 点 


SL: 状态 列表 ， 列 出 当前 正在 试验 路 径 的 状态 。 如 果 1 A 
现 了 目标 ， 那 么 SL 便 包 含 了 解 路 径 上 状态 的 有 序列 表 。 A 
NSL: 新 状态 列表 ， 含 有 等 待 评估 的 结 点 ， 也 就 是 NS 
其 后 代 还 没有 被 产生 和 搜索 的 结 点 。 SAS “10 
DE: 用 来 记录 死 端 ， 列 出 已 经 发 现 其 后 代 不 包含 目 AN 
标的 状态 。 如 果 再 次 遇 到 这 些 状态 ， 它 们 会 被 检测 为 是 sp “~。 
DE 中 的 元 素 并 立刻 不 再 考虑 。 NS 6 


-mm 

ey 
Tn 和 
.2 


在 定义 可 用 于 一 般 情 况 (图 而 不 是 树 ) 的 回 湖 算法 eh SN 
时 ,必须 探测 任何 状态 的 多 次 出 现 以 便 不 会 再 次 进入 这 
种 状态 而 导致 (无 限 的 ) 循环 。 这 是 通过 检验 每 个 新 产 


生 状 态 是 否 是 这 三 个 列表 中 的 成 员 来 实现 的 。 如 果 新 的 ”图 3-14 对 假想 状态 空间 的 回 湖 搜索 


状态 属于 这 些 列表 中 的 任 一 个 ， 那 么 它 已 经 被 访问 过 并 可 以 被 忽略 。 


function backtrack:; 
begin 
SL := [Start]; NSL := [Startl; DE := []; CS := Start: % initialize: 
while NSLx [] do % while there are states to be tried 
begin 
if CS = goal (or meets goal description) 
then return SL; % on success, return list of states in path. 
if CS has no children (excluding nodes already on DE, SL, and NSL) 
then begin 
while SL is not empty and CS = the first element of SL do 
begin 
add CS to DE:; % record state as dead end 
remove first element from SL; %backtrack 
remove first element from NSL; 
CS := first element of NSL; 
end 
add CS to SL; 
end 
else begin ， 
place children of CS (except nodes already on DE, SL, or NSL) on NSL; 
CS := first element of NSL; 
add CS to SL 
end 
end; 
return FAIL; 
end. 
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在 回溯 中 ， 当 前 正 被 考虑 的 状态 叫做 当前 状态 CS。 它 总 是 等 于 最 近 加 入 到 SL 中 的 状态 ， 
因此 代表 了 当前 正 被 探索 解 路 径 的 “前 线 ”。 然 后 向 CS 应 用 推理 规则 、 博 弈 中 的 移动 或 其 他 合 
适 的 问题 求解 操作 符 。 这 样 便 得 到 一 系列 新 的 有 序 状态 (也 就 是 CS 的 孩子 ) 。 这 些 状态 中 的 第 
一 个 状态 被 用 做 新 的 当前 状态 ， 其 余 的 状态 被 依次 放 和 人 NSL 供 以 后 分 析 。 新 的 当前 状态 被 加 入 
到 SL 并 继续 搜索 。 如 果 CS 没有 孩子 ， 那 么 算法 会 将 它 从 SL 中 删除 (这 便 是 算法 的 “ 回 湖 ”) ， 
然后 分 析 它 的 前 驱 的 其 他 孩子 。 

如 果 对 图 3-14 应 用 回 湖 (backirack〉 算法 ， 那 么 其 过 程 如 下 : 


初始 化 : SL = [Al; NSL = [A]; DE = []; CS = AA: 


迭代 后 CS SL NSL DE 

0 A [A] [向 [] 

1 B [BA] [BCDA] [] 

2 E [EB A] [EFBCDA] [] 

3 H [HEBA] (HIEFBCDA] |] 

4 | [LEBA] [IEFBCDAI [H] 

5 F [FBA] [FBCDA] [ELHI] 

6 J LFBA] JFBCDAI [ETH] 

7 C [CA] [CDAI [BFJEIH] 
8 G [GCA] [GCDAI] [BFJEIH] 


正如 上 面 所 呈现 的 ， 回 漳 实 现 了 数据 驱动 搜索 ， 把 根 作为 起 始 状 态 然后 评估 它 的 孩子 以 搜 
索 目 标 。 如 果 使 目标 成 为 图 的 根 然后 评估 它 的 后 代 来 寻找 起 始 状态 ,那么 就 可 以 把 这 种 算法 看 
成 是 目标 驱动 的 搜索 。 如 果 目 标 描述 属于 第 二 种 类 型 ( 见 3.1.3 节 ) ， 那 么 算法 必须 分 析 SL 上 
的 路 径 来 判断 目标 状态 。 

回 湖 是 一 种 搜索 状态 空间 图 的 算法 。 随 后 将 要 介绍 的 图 搜索 算法 〈 包 括 深 度 优先 搜索 、 宽 
度 优先 搜索 和 最 佳 优先 搜索 ) 都 使 用 了 回溯 中 所 用 的 思想 ， 这 些 思想 包括 : 

1) 未 处 理 状态 列表 (NSL) 的 使 用 使 算法 可 以 返回 〈 回 淹 ) 到 这 些 状 态 中 的 任 一 个 状态 。 

2) “bad” 状 态 列表 (DE) 防止 算法 重 试 无 用 的 路 径 。 

3) 如 果 发 现 了 目标 ， 就 返回 当前 解 路 径 的 结 点 列表 (SL) 。 

4) 显 式 检查 新 的 状态 是 否 是 这 些 列表 的 成 员 以 防止 死 循环 。 

下 一 节 介 绍 的 搜索 算法 与 回潮 一 样 ， 使 用 列表 来 记录 搜索 空间 中 的 状态 。 这 些 算法 包括 深 
度 优 先 搜索 、 宽 度 优先 搜索 和 最 佳 优先 搜索 〔 见 第 4 章 ) ， 与 回溯 不 同 的 是 ， 它 们 为 实现 其 他 图 
搜索 策略 提供 了 一 种 更 灵活 的 基础 。 


3. 2.3 深度 优先 搜索 和 宽度 优先 搜索 


除了 指定 搜索 方向 〈 数 据 驱 动 还 是 目标 驱动 ) ， 搜 索 算 法 还 必须 决定 按 什么 顺序 来 解析 树 上 
或 图 上 的 状态 。 这 一 节 介 绍 两 种 方法 来 考虑 图 中 结 点 的 可 能 顺序 : 深度 优先 (depth-first) 搜索 
和 宽度 优先 (breadth-first) 搜索 。 

考虑 图 3-15 所 示 的 图 。 我 们 用 标签 (A, B, C, …) 标 出 了 各 个 状态 以 便 在 下 文 的 讨论 中 引 
用 它们 。 在 深度 优先 搜索 中 ， 当 分 析 一 个 结 点 时 ， 在 分 析 它 的 任何 兄弟 之 前 分 析 它 的 所 有 孩子 和 
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后 代 。 深 度 优 先 搜索 尽 可 能 地 向 搜索 空间 的 更 深层 前 进 。 只 有 找 不 到 状态 的 后 代 时 才 会 考虑 它 
的 兄弟 。 对 于 图 3-15 所 示 的 图 来 说 ， 深 度 优 先 搜索 分 析 状 态 的 顺序 是 A，B，E，K，S，L，T， 
F, M, C, G, N, H, O, P, U, D, |, Q, J, R。 3.2.2 节 的 回溯 算法 实现 的 就 是 深度 优先 
搜索 。 

与 深度 优先 搜索 正好 相反 ， 宽 度 优 先 A 
搜索 一 层 一 层 地 探索 空间 。 只 有 给 定 层 上 
不 再 存在 要 探索 的 状态 时 算法 才 转 移 到 下 
一 个 更 深层 次 。 对 于 图 3-15 所 示 的 图 ， 宽 B c D 
度 优先 搜索 分 析 状 态 的 顺序 是 A，B，C， 


D, E, F, G, H, 1, J, K, L, M, N, Ee fF G H I 
0, P, Q, R, S, T, U, 八 八 | 信和 信 ~ 
在 宽度 优先 搜索 的 实现 中 ,我 们 使 用 
列表 open 和 closed 来 跟踪 穿越 空间 的 过 站 
程 。open 类 似 于 回溯 算法 中 的 NSL， 它 列 

出 已 经 产生 但 是 它 的 孩子 还 未 被 分 析 的 状 se Te。 
态 。 从 open 中 删除 状态 的 顺序 是 由 搜索 的 ”图 3-15 深度 优先 搜索 和 宽度 优先 搜索 例子 中 所 用 的 图 
顺序 决定 的 。closed 记录 了 已 经 分 析 过 的 

状态 。closed 是 回溯 算法 中 DE 和 SL 列表 的 联合 。 


function breadth_first_search.; 


Ue 


begin 
open := [Start]; % initialize 
closed := []; 
while openz[] do % states remain 
begin 
remove leftmost state from open, call it X; 
if X is a goal then return SUCCESS % goal found 
else begin 
generate children of X; 
put X on closed; 
discard children of X jf already on open or closed; % loop check 
put remaining children on right end of open % queue 
end 
end 
return FAIL % no states left 
end 


| 孩子 状态 是 由 推理 规则 、 博 弈 中 的 合法 移动 或 其 他 的 状态 转换 操作 符 生成 的 。 每 一 次 迭代 
产生 状态 X 的 所 有 孩子 并 且 将 这 些 孩 子 都 加 入 到 open 中 。 注 意 : open 被 当 作 一 个 队列 (也 就 
是 一 种 先 人 先 出 (FIFO) 的 数据 结构 ) 来 维护 。 状 态 是 从 右 侧 加 入 到 这 个 列表 并 从 左 侧 移出 。 
这 使 搜索 优先 考虑 已 经 在 open 中 时 间 最 长 的 状态 ， 这 使 这 种 搜索 是 宽度 优先 的 。 如 果 和 孩子 状态 
是 已 经 发 现 的 (已 经 出 现在 open 或 closed 中 的 ) 状态 ,那么 它 会 被 丢弃 。 如 果 算 法 是 因 
“while” 循环 条 件 (open = [ ] ) 不 再 满足 而 终止 ， 那 么 说 明 算法 已 经 搜索 了 整个 状态 空间 ， 但 
并 未 发 现 预 期 目标 : 搜索 失败 了 。 

跟踪 图 3-15 的 宽度 优先 搜索 的 结果 如 下 。 每 个 连续 的 数字 1，2，3，… 代 表 “while” 循 环 
的 次 数 。U 是 预期 的 目标 状态 。 

1) open=[A]; closed =[ ] 。 
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2) open =[B, C, D]; closed =[A]。 

3) open =[C, D, E, F] ; closed=[B, A] 。 

4) open = [D, E, F, G, H] ; closed = [C, B, A] 。 

5) open =[E, F,G,H,1,J]; closed =[D, C， B, A] 。 

6) open =[F,G, H,1J,K,L]; closed =TE,D, C， B, A] 。 

7) open =[G,H,1,J,K,L,M]， 因 为 L 已 经 在 open 中 ; closed =[F, E, D, C, B, A] 。 

8) open =[H,1 J,K,L,M, N] ; closed=[G,F,E, D, C, B, A] 。 

9) 依 此 类 推 ， 直到 找到 了 U 或 open =[ ]。 

图 3-16 给 出 了 对 图 3-15 所 示 的 图 进行 6 次 宽度 优先 搜索 迭代 后 的 情况 。open 和 closed 中 
的 状态 被 突出 显示 出 来 。 不 带 阴影 的 状态 是 算法 还 没有 发 现 的 状态 。 注 意 : open 记录 了 任何 阶 
段 中 搜索 的 “前 线 ” 状 态 ， 而 closed 记录 了 已 经 访问 过 的 状态 。 





人 ESS 
1 由 Ne Ow 1 Qe Re ee 
Se Te Ue Open 
图 3-16 对 图 3-15 的 宽度 优先 搜索 
注 : 图 中 突出 显示 了 第 6 次 迭代 时 的 open 和 closed 中 的 状态 

因为 宽度 优先 搜索 先 考 虑 图 中 每 一 层 的 所 有 结 点 然后 再 向 图 的 更 深 空间 前 进 ， 所 以 距离 起 
始 状 态 最 短路 径 的 所 有 状态 先 被 访问 。 因 此 宽度 优先 搜索 保证 可 以 找到 从 起 始 状 态 到 目标 状态 
的 最 短路 径 。 而 且 ， 因 为 第 一 次 发 现 的 所 有 状态 都 是 在 最 短路 径 上 ， 所 以 任何 第 二 次 遇 到 的 状态 
都 是 在 相等 或 更 长 的 路 径 上 。 因 为 沿 一 条 更 好 的 路 径 不 会 发 现 重复 的 状态 ， 所 以 算法 干脆 丢弃 
重复 的 状态 。 

很 多 时 候 ， 在 open 和 closed 中 保存 除了 状态 名 以 外 的 其 他 信息 是 有 价值 的 。 例 如 ， 宽 度 优 
先 搜索 并 不 像 backtrack 那样 在 SL 列表 中 维护 通 往 目 标的 当前 路 径 ; 所 有 访问 过 的 状态 被 放 人 
closed。 如 果 需 要 一 个 解 路 径 ， 则 宽度 优先 算法 无 法 返回 这 个 路 径 。 可 通过 将 每 个 状态 与 它 的 祖 
先 信息 一 起 存储 ， 找 到 这 个 解 路 径 。 例 如 ， 可 以 把 一 个 状态 和 它 的 双亲 状态 一 起 存储 为 一 个 对 
(状态 ， 双 亲 ) 。 如 果 在 对 图 3-15 的 搜索 中 这 样 做 ， 那 么 第 4 次 迭代 时 open 和 closed 中 的 内 容 
将 是 : . 

open =[(D, A), (E, B), (F, B), (G, C), (H, C0)] 

closed =[(C, A), (B, A), (A, nil)] 

从 这 个 信息 中 可 以 简单 地 构建 出 从 A 到 F 的 路 径 (A，B，F) 。 当 发 现 了 目标 时 ， 算 法 可 以 
顺 着 双亲 反 向 追 索 出 从 目标 到 起 始 状态 的 解 路 径 。 注 意 : A 的 双亲 是 mil ( 空 ) ， 表 示 它 是 起 始 状 
态 ， 这 停止 了 路 径 的 重建 。 因 为 宽度 优先 搜索 沿 最 短 的 路 径 寻 找 每 一 个 状态 并 且 保 留 每 个 状态 
的 第 一 个 版 本 ， 所 以 它 发 现 的 解 是 从 起 点 到 目标 的 最 短路 径 。 
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图 3-17 显示 了 对 8 格 拼 图 游戏 的 图 进行 宽度 优先 搜索 的 情况 ， 图 中 显示 的 状态 就 是 从 open 
中 删除 和 分 析 的 状态 。 和 以 前 一 样 ， 绝对 应 于 空位 的 上 下 左右 移动 。 每 个 状态 旁边 的 数字 指出 了 
它 从 open 中 删除 的 顺序 。 当 算法 终止 时 还 留 在 open 中 的 状态 没有 显示 出 来 。 


1 
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图 3-17 8 格 拼 图 游戏 的 宽度 优先 搜索 
注 : 图 中 显示 了 各 个 状态 从 open 中 删除 的 顺序 


下 面 ， 我 们 建立 深度 优先 算法 ， 它 是 3.2. 3 节 已 经 给 出 的 回潮 算法 的 简化 。 在 这 一 算法 中 ， 
后 继 状态 从 open 的 左 端 加 入 或 删除 ，open 被 当 作 一 个 堆栈 (也 就 是 一 种 后 进 先 出 (LIFO) 的 
结构 ) 来 维护 。 把 open 组 织 为 一 个 堆栈 使 搜索 先 考虑 最 近 产生 的 状态 ， 这 导致 搜索 顺序 是 深度 
优先 的 : 

跟踪 图 3-15 的 深度 优先 搜索 的 结果 如 下 。 每 个 连续 的 数字 1，2，3 ，… 代 表 “while” 循 环 
的 次 数 。 第 一 行 中 给 出 的 是 open 和 closed 的 初始 状态 。 假 定 U 是 目标 状态 。 


1) open =[A]; closed =[ ]。 

2) open =[B, C, D]; closed =[A] 。 

3) open =[E, F, C, D]; closed =[B, A] 。 

4) open=[K,L,F,C,D]; closed =[E, B, A] 。 

5) open=[S,L,F,C,D]; closed =[ K, E, B, A] 。 

6) open =[L, F,C, D]; closed=[S,K,E,B, A], 

7) open =[T, F,C, D] ; closed =[L, S, K, E, B, A] 。 

8) open =[F,C, D]; closed =[T, EL, S， K, E, B, A] 。 

9) open =[M,C,D]， 因 为 L 已 经 在 closed 中 ; closed = [F,T,L, S, K, E, B, A] 。 
10) open =[C, D]; closed =[M,F,T, L, S, K, E, B, A] 。 

11) open =[G,H, D]; closed =[C, M, F,T, L, S, K, E, B, A] 。 
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依 此 类 推 ， 直 到 发 现 了 U 或 open =[ ]。 

与 宽度 优先 搜索 的 情况 相同 ，open 列 出 了 已 经 发 现 但 还 没有 评估 的 所 有 状态 (搜索 的 当前 
“前 线 ”) ，closed 记录 了 已 经 考虑 过 的 状态 。 图 3-18 显示 了 对 图 3-15 所 示 的 图 进行 第 6 次 深度 
优先 搜索 迭代 时 的 情况 。open 和 closed 中 的 内 容 被 突出 显示 。 这 个 算法 也 可 以 像 宽度 优先 搜索 
那样 把 每 个 状态 和 它 的 双亲 一 起 存储 ， ao 

与 宽度 优先 搜索 不 同 ， 深 度 优先 搜索 不 保 
证 第 一 次 碰 到 某 个 状态 时 ， 找 到 的 就 是 到 这 个 
状态 的 最 短路 径 。 在 这 个 算法 的 后 期 ， 可 能 发 
现任 何 状态 的 不 同 路 径 。 如 果 路 径 长 度 是 问题 
求解 器 所 关心 的 ， 那 么 当 算法 碰 到 一 个 重复 状 
态 时 ， 这 个 算法 应 该 保存 沿 最 短路 径 到 达 的 版 
本 。 这 可 以 通过 把 每 个 状态 保存 成 一 个 三 元 组 
(状态 ， 双 亲 ， 路 径 长 度 ) 来 实现 。 当 产生 孩 
子 时 ， 路 径 长 度 值 只 要 加 1 并 把 它 和 这 个 孩子 
保存 在 一 起 。 如 果 沿 多 条 路 径 到 达 了 同一 个 孩 ~ 
子 ,那么 可 以 用 这 个 信息 来 保留 最 好 的 版 本 。 Gigsed 






(EN 


Ue 


在 第 4 章 的 A 算法 中 我 们 会 更 详细 地 讨论 这 一 

点 。 注 意 : 在 简单 的 深度 优先 搜索 中 保留 一 个 Open 
状态 的 最 佳 版 本 不 能 保证 是 沿 最 短路 径 到 达 i 

目标 。 注 : 图 中 突出 显示 了 第 6 次 选 代 时 的 open 和 closed 中 的 状态 


图 3-19 给 出 了 8 格 拼图 游戏 的 深度 优先 搜 
索 。 正 如 前 面 所 指出 的 ， 这 个 空间 是 由 4 个 “移动 空位 ”的 规则 (上 、 下 、 左 、 右 ) 所 产生 的 。 
状态 旁边 的 数字 指出 了 状态 被 考虑 的 顺序 ， 也 就 是 从 open 中 删除 的 顺序 。 当 发 现 目标 时 还 留 在 
open 中 的 状态 没有 被 画 出 来 。 另 外 ， 在 这 种 搜索 中 我 们 将 深度 界限 设 为 5 以 防止 算法 向 空间 深 
人 时 “迷失 ”。 

与 选择 数据 驱动 搜索 还 是 目标 驱动 搜索 一 样 ， 选 取 深 度 优先 搜索 还 是 宽度 优先 搜索 依赖 于 
要 解决 的 具体 问题 。 要 考虑 的 主要 特征 包括 发 现 目 标的 最 短路 径 的 重要 性 、 空 间 的 分 支 因 子 、 计 
算 时 间 的 可 行 性 、 计 算 空间 的 可 用 性 、 到 达 目 标 结 点 的 平均 路 径 长 度 以 及 需要 所 有 解 还 是 仅仅 
需要 第 一 个 发 现 的 解 。 对 于 以 上 这 些 要 素 ， 每 种 方法 都 有 其 优势 和 不 足 。 

宽度 优先 ”因为 宽度 优先 搜索 总 是 在 分 析 第 n+1 层 之 前 分 析 第 n 层 上 的 所 有 结 点 ， 所 以 宽 
度 优先 搜索 找到 的 到 目标 结 点 的 路 径 总 是 最 短 的 。 在 已 经 知道 存在 一 个 简单 解 的 问题 中 ， 宽 度 
优先 搜索 可 以 保证 发 现 这 个 解 。 不 幸 的 是 ， 如 果 存 在 一 个 不 利 的 分 支 因 子 ， 也 就 是 各 个 状态 都 有 
相对 很 多 个 后 代 ， 那 么 组 合 爆炸 可 能 使 算法 无 法 在 现 有 可 用 内 存 的 条 件 下 找到 解 。 这 是 由 每 一 
层 的 未 展开 结 点 都 必须 存储 在 open 中 这 一 事实 造成 的 。 对 于 很 深 的 搜索 ， 或 状态 空间 的 分 支 因 
子 很 高 的 情况 ， 这 个 问题 可 能 变 得 非常 棘手 。 

宽度 优先 搜索 的 空间 使 用 量 ( 以 open 中 的 状态 数量 来 衡量 ) 在 任何 时 间 都 是 路 径 长 度 的 指 
数 函 数 。 如 果 每 个 状态 平均 有 B 个 孩子 ， 那么 在 一 个 给 定 层 上 的 状态 数 是 上 一 层 状态 数 的 B 倍 。 
这 样 在 第 n 层 上 的 状态 数 为 B" 。 当 宽度 优先 搜索 开始 分 析 第 n 层 时 ， 它 要 把 所 有 这 些 状 态 放 人 
open 中 。 例 如 ， 在 国际 象棋 游戏 中 ， 当 解 路 径 很 长 时 ， 这 可 能 是 不 允许 的 。 

深度 优先 ”深度 优先 搜索 可 以 迅速 地 深入 搜索 空间 。 如 果 已 知 解 路 径 很 长 ， 那 么 深度 优先 
搜索 不 会 浪费 时 间 来 搜索 图 中 的 大 量 “ 浅 层 ” 状 态 。 另 一 方面 ， 深 度 优先 搜索 可 能 在 深入 空间 
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时 “迷失 ”， 错 过 了 到 达 目 标的 更 短路 径 ， 甚 至 陷 人 不 能 到 达 目 标的 无 限 长 路 径 。 
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图 3-19 8 格 拼图 游戏 的 深度 优先 搜索 (深度 界限 为 5) 


如 果 要 搜索 具有 很 多 分 支 的 空间 ， 那 么 深度 优先 搜索 的 效率 更 高 ， 因 为 它 不 必 把 给 定 层 的 
所 有 结 点 保存 到 open 列表 中 。 深 度 优先 搜索 使 用 的 空间 是 路 径 长 度 的 线性 函数 。 在 每 一 层 ， 
open 仅 保存 一 个 状态 的 孩子 。 如 果 图 中 每 个 状态 了 罗 有 日 个 纺 了 ， 那么 要 深入 到 空间 的 第 n 层 
需要 的 总 空间 量 就 是 B xn。 

选择 深度 优先 搜索 还 是 宽度 优先 搜索 的 最 佳 答案 是 仔细 分 析 问 题 空间 并 向 这 个 领域 的 专家 
咨询 。 例 如 ， 对 于 国际 象棋 来 说 ， 宽 度 优先 搜索 就 是 不 可 能 的 。 在 更 简单 的 游戏 中 ， 宽 度 优先 搜 
索 不 仅 是 可 能 的 ， 而 且 可 能 是 避免 迷失 的 惟一 方法 。 


3.2.4 ”迭代 加 深 的 深度 优先 搜索 


平衡 深度 优先 搜索 和 宽度 优先 搜索 的 一 个 很 好 折 中 是 对 深度 优先 搜索 使 用 一 个 界限 。 一 
搜索 的 深度 在 某 个 层次 以 下 ， 深 度 界限 便 强制 停止 对 这 条 路 径 的 搜索 。 这 形成 一 种 对 被 搜索 空 
间 某 个 深度 的 “横扫 ”。 当 已 知 解 位 于 某 个 深度 范围 内 或 当时 间 有 限制 时 (比如 在 搜索 像 国 际 象 
棋 这 样 的 庞大 空间 时 要 限制 被 考虑 的 状态 数量 ) ， 具 有 深度 界限 的 深度 优先 搜索 可 能 是 最 合适 的 
搜索 。 图 3-19 所 示 的 对 8 格 拼图 游戏 的 搜索 就 是 深度 界限 为 5 的 深度 优先 搜索 ， 算 法 以 这 一 深 
度 扫 过 空间 。 

根据 这 种 思想 产生 的 算法 弥补 了 深度 优先 搜索 和 宽度 优先 搜索 二 者 的 很 多 不 足 。 送 代 加 深 
的 深度 优先 ( depth-first iterative deepening) (Korf 1987) 对 空间 进行 一 种 深度 界限 为 1 的 深度 优 
先 搜索 。 如 果 它 找 不 到 目标 ， 便 进行 男 一 个 深度 界限 为 2 的 深度 优先 搜索 。 这 样 继续 下 去 ， 每 次 
人 迭代 把 深度 界限 加 1。 在 每 一 次 迭代 中 ,算法 执行 一 次 当前 识 度 界 限 范围 内 的 完全 深度 优先 搜 
索 。 在 两 次 迭代 之 间 不 保存 任何 状态 空间 信息 。 

因为 这 种 算法 一 层 层 地 搜索 空间 ， 所 以 它 保证 所 发 现 的 目标 路 径 是 最 短 的 。 因 为 这 种 方法 
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在 每 次 迭代 中 所 做 的 仅仅 是 深度 优先 的 搜索 ， 所 以 在 任意 层次 n 上 的 空间 使 用 量 是 B x n， 其 中 
B 是 结 点 的 平均 孩子 数量 。 

有 趣 的 是 ， 尽 管 看 起 来 似乎 迭代 加 深 的 深度 优先 方法 在 效率 方面 会 比 深度 优先 方法 和 宽度 
优先 方法 低 , 但 实际 上 它 的 时 间 复杂 度 与 男 两 个 方法 处 于 同一 数量 级 ，O (B") 。Kor 在 1987 年 
提出 的 对 此 的 一 个 直观 解释 看 起 来 有 些 自 相 矛 盾 ， 这 个 解释 如 下 所 述 ， 


因为 树 上 某 一 给 定 层 的 结 点 数量 随 着 深度 呈 指 数 增长 ， 所 以 几乎 所 有 时 间 都 花 在 最 深层 上 ， 
因此 即使 以 算术 递增 的 速度 多 次 产生 较 浅 层 也 无 所 谓 。 


但 是 ， 可 以 证 明 这 一 章 讨论 的 所 有 搜索 策略 一 一 深度 优先 、 宽 度 优先 和 迁 代 加 深 的 深度 优 
先 一 一 都 显示 出 具有 最 糟糕 的 指数 时 间 复 杂 度 。 这 一 结论 对 于 所 有 的 无 信息 搜索 算法 来 说 都 是 
正确 的 。 降 低 这 一 复杂 度 的 惟一 途径 是 采用 启发 来 引导 搜索 。 最 佳 优 先 搜索 (best-first search) 
是 与 刚刚 给 出 的 深度 优先 和 宽度 优先 算法 类 似 的 搜索 算法 。 然 而 ， 最 佳 优先 搜索 对 open 列表 
(搜索 的 当前 目标 ) 中 的 状态 进行 排序 ， 排 序 的 根据 是 衡量 状态 的 某 个 启发 性 指标 。 最 佳 优先 搜 
索 是 第 4 章 的 主要 话题 。 


3.3 利用 状态 空间 来 表示 命题 演算 和 谓词 演算 的 推理 


3.3.1 逻辑 系统 的 状态 空间 描述 


在 3.1 节 中 定义 状态 空间 图 时 ， 我 们 注意 到 结 点 必须 是 相互 可 区 别 的 ， 每 个 结 点 表示 解 过 程 
的 某 个 状态 。 可 以 使 用 命题 演算 和 谓词 演算 作为 形式 说 明 语言 来 表示 这 种 差别 性 ， 并 把 图 的 结 
所 映射 到 状态 空间 。 而 且 ， 可 以 使 用 推理 规则 来 创建 和 描述 状态 间 的 弧 。 通 过 这 种 方式 ， 就 可 以 
使 用 搜索 来 解决 谓词 演算 中 的 问题 ， 比 如 判断 一 个 表达 式 是 不 是 一 组 给 定 断 言 的 逻辑 结论 。 

谓词 演算 推理 规则 的 可 靠 性 和 完备 性 保证 了 这 种 基于 图 的 推理 所 导出 的 结论 的 正确 性 。 这 
种 通过 与 产生 解 相同 的 算法 来 形式 证 明 解 完整 性 的 能 力 是 大 多 数 人 工 智能 和 基于 定理 证 明 的 问 
题 求解 方法 的 一 个 特有 属性 。 

尽管 许多 问题 的 状态 〈 比 如 九宫 游戏 ) 用 数组 这 样 的 数据 结构 来 表示 更 加 自然 ， 但 是 逻辑 
的 强大 性 和 通用 性 使 大 多 数 AI 问题 求解 过 程 可 以 使 用 命题 演算 和 谓词 演算 描述 和 推理 规则 。 其 
他 的 AI 表示 《比如 规则 〈 见 第 8 章 )、 语 义 网 或 框架 ( 见 第 7 章 ) ) 采用 的 搜索 规则 与 3. 2 节 给 
出 的 规则 类 似 。 


例 3. 3.1 命题 演算 

下 面 举 例 说 明 如 何 把 一 系列 逻辑 关系 看 作对 图 的 定义 。 第 一 个 例子 是 关于 命题 演算 的 。 如 
果 p，q，r，… 是 命题 ， 并 假定 有 如 下 断言 : 

9 一 P 

【一 有 

v— 9 

Ss 一 上 

t 一 >『 

Ss—U 

S 

t 


根据 这 组 断言 和 假 言 推理 规则 ， 可 以 推断 出 某 些 命题 (p、r 和 uU); 但 推断 不 出 其 他 的 命题 
(比如 v 和 9) ， 因 为 它们 实际 上 不 是 逻辑 派生 自 这 些 断 言 。 图 3-20 所 示 的 有 向 图 表达 了 初始 断 
言 与 这 些 推断 闻 的 关系 。 
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在 图 3-20 中 ， 弧 对 应 于 逻辑 蕴涵 (一) 。 给 定 为 真 的 命题 (s 和 t) 对 应 于 问题 的 给 定数 据 。 
这 组 断言 的 尿 辑 结论 命题 对 应 于 从 表示 真 命题 的 状态 沿 一 条 有 疝 路 径 
可 以 到 达 的 结 点 ; 这 样 的 路 径 相 当 于 应 用 一 系列 假 言 推理 。 例 如 ， 
路 径 [s，r，p] 对 应 于 以 下 推断 序列 ， 


Ss 与 Sr 得 到 T 


q r U 
与 [一 p 得 到 p 7 MY 
有 了 这 种 表示 ， 判 定 一 个 给 定 命题 是 否 是 某 个 命题 集合 的 逻 v 


辑 结论 的 问题 就 变 成 了 寻找 一 条 从 杠 起 来 的 结 点 《起 始 结 点 ) 到 。 图 3.20 多 是 演算 中 的 _ 组 
这 个 命题 (目标 结 点 ) 的 路 径 的 问题 。 这 样 就 可 以 把 这 种 任务 看 葡 池 的 状态 空间 图 
作 一 种 图 搜索 问题 。 这 里 使 用 的 搜索 策略 是 数据 驱动 的 ， 因 为 它 
从 已 知 的 真实 命题 开始 向 目标 前 进 。 另 外 ， 也 可 以 对 同样 的 状态 空间 应 用 目标 驱动 搜索 策略 ， 从 
要 被 证 明 的 命题 (目标) 入 手 ， 然 后 沿 各 个 弧 反 向 搜索 ， 直 到 找到 支持 目标 的 真 命题 。 我 们 也 
可 以 使 用 深度 优先 和 宽度 优先 方式 中 的 任 一 种 来 搜索 这 个 推理 空间 。 


3. 3.2 与 或 图 


在 3.3.1 节 的 例子 中 ， 所 有 断言 都 是 像 p 一 q 这 样 的 蕴涵 形式 。 我 们 没有 讨论 在 这 种 图 中 表 
示 逻 辑 操作 符 与 (and) 和 或 〈or) 的 方式 。 要 表示 这 些 逻 辑 操作 符 所 定义 的 逻辑 关系 需要 对 基 
本 的 图 模型 进行 扩展 ， 这 种 扩展 后 的 图 被 称 为 与 或 图 (and/or graph) 。 与 或 图 是 描述 很 多 AI 问题 
(包括 基于 逻辑 的 定理 证 明 程 序 和 专家 系统 要 解决 的 问题 ) 所 产生 的 搜索 空间 的 一 种 重要 工具 。 

在 形式 为 q9A 呈 *p 的 表达 式 中 ，p 为 真 的 条 件 是 9 和 Tr 都 为 真 。 在 形式 为 9V r 一 p 的 表达 式 
中 ，q 和 Tr 中 任 一 个 为 真 便 足 以 证 明 p 为 真 。 因 为 含有 析 取 前 提 的 蕴涵 可 以 写 为 两 个 独立 的 董 
涵 ， 所 以 后 一 个 表达 式 经 常 被 写 为 9 一 p,r 一 p。 为 了 图 形 化 地 表示 这 些 不 同 的 关系 ， 与 或 图 把 
与 结 点 和 或 结 点 区 别 开 来 。 如 果 药 涵 的 前 提 是 由 操作 符 人 连接 的 ， 那 么 称 它们 为 图 中 的 与 结 点 ， 
而 且 用 曲线 把 到 这 个 结 点 的 弧 联 合 起 来 。 图 3-21 所 示 的 与 或 图 表示 了 表达 式 9 人 rf 一 p。 

图 3-21 中 联合 两 个 弧 的 连接 表示 要 证 明 p 必须 q 和 Tr 都 为 真 。 如 果 前 提 是 由 或 操作 符 连接 
的 ， 那么 它们 被 当 作 图 中 的 或 结 点 。 或 结 点 的 弧 不 像 与 结 点 那样 被 联合 起 来 ( 见 图 3-22)。 这 表 
示 任 一 个 前 提 为 真 都 足以 决定 结论 为 真 。 


图 3-21 表达 式 9 人 rp 的 与 或 图 图 3-22 表达 式 9V rp 的 与 或 图 


与 或 图 实际 上 是 超 图 (hypergraph) 的 特例 ， 在 超 图 中 各 个 结 点 是 由 一 系列 弧 而 不 是 由 单一 
弧 连 接 的 。 超 图 的 定义 如 下 : 


定义 ( 超 图 ) ” 超 图 由 下 列 要 素 组 成 : 

N， 结 点 集合 。 

H， 由 有 序 偶 定义 的 超 弧 集合 ， 有 序 偶 的 第 一 个 元 素 是 来 自信 的 一 个 结 点 ， 第 二 个 元 素 是 及 
的 一 个 子 集 。 

普通 图 是 当 超 图 的 所 有 后 继 结 点 集合 的 势 为 1 时 的 特例 。 
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超 弧 又 被 称 作 k 连接 符 〈k-connector) ， 其 中 k 是 后 继 结 点 集合 的 势 。 如 果 k = 1， 那 么 可 以 
认为 后 继 集合 元 素 是 或 结 点 。 如 果 k> 1， 那 么 可 以 认为 后 继 集合 元 素 是 与 结 点 。 在 这 种 情况 下 ， 
连接 符 被 画 为 从 父 结 点 到 每 一 个 后 继 结 点 的 单独 边 ; 例如 可 参见 图 3-21 中 的 曲线 。 


例 3. 3.2 与 或 图 搜索 

第 二 个 例子 也 来 自命 题 演算 ， 但 是 产生 的 图 包含 了 与 后 继 和 或 后 继 。 假 定 下 面 的 命题 为 真 ; 

a 

b 

C 

aA 人 b 一 d 

aACc 一 6 

bA^ 和 d 一 f 

f{ 一 9 

ae 一 hh 
这 个 断言 集合 产生 的 与 或 图 如 图 3-23 所 示 。 

可 以 问 〈 答 案 可 以 通过 对 这 幅 图 的 搜索 演绎 出 来 ) 的 问题 有 : 

1) h 是 真 的 吗 ? 

2) 如 果 b 不 再 为 真 ， 那 么 h 是 真 的 吗 ? 

3) 证 明 X《【〈 某 个 命题 ) 为 真 的 最 短路 径 〈 也 就 是 最 短 的 推理 序列 ) 是 什么 ? 

4) 证 明 命 题 p (注意 p 是 不 被 支持 的 ) 是 假 的 。 这 意味 着 什么 ? 要 得 到 这 个 结论 哪些 条 件 
是 必要 的 ? 

与 前 面 讨论 过 的 常规 的 图 搜索 (比如 前 面 讨论 的 回溯 算法 ) 相 比 ， 与 或 图 搜索 仅 需 要 稍微 
多 保存 一 些 记录 。 检 查 或 后 继 的 方法 与 回溯 中 一 样 : 一 旦 找到 了 沿 或 结 点 把 目标 连接 到 起 始 结 
点 的 一 条 路 径 ， 那 么 这 个 问题 就 解决 了 。 如 果 一 条 路 径 失败 了 ， 那 么 算法 可 以 回溯 并 试验 另 一 -个 
分 支 。 然 而 ， 在 搜索 与 结 点 时 ， 要 证 明 双 亲 结 点 为 真 就 必须 证 明 这 个 结 点 的 所 有 与 后 继 为 真 。 

在 图 3-23 所 示 的 例子 中 ， 判 断 h 真 值 的 目标 驱动 策略 首先 试图 证 明 a 和 e 都 为 真 。a 的 真 
值 是 直接 的 ， 但 是 e 的 真 值 依赖 于 c 和 a 二 者 的 真 值 ， 给 定 这 些 值 为 真 的 。 一 旦 问题 求解 器 已 经 
向 下 跟踪 所 有 弧 到 真实 的 命题 ， 那 么 就 可 以 在 与 结 点 重组 这 些 真 值 以 验证 h 的 真 值 。 

另 一 方面 ,判断 h 真 值 的 数据 驱动 策略 从 已 知 的 事实 (c、a 和 b) 开始 ， 并 根据 与 或 图 的 
约束 向 这 个 已 知事 实 集合 加 入 新 的 命题 。e 或 d 可 能 是 被 加 入 到 这 个 事实 集合 的 第 一 个 命题 。 有 
了 这 些 新 加 入 的 命题 ， 便 可 能 推导 出 新 的 事实 。 这 个 过 程 继续 下 去 ， 直 到 已 经 证 明了 预期 目 
标 h。 

观察 与 或 图 搜索 的 一 种 方式 是 使 用 操作 符 A 〈 由 此 导致 图 中 的 与 结 点 ) 表示 把 问题 拆散 为 
多 个 子 问题 ， 要 证 明 原 来 的 问题 就 必须 证 明 所 有 的 子 问题 。 把 问题 的 谓词 演算 表示 中 的 操作 符 
V 看 作 问 题 求解 中 的 一 个 选择 点 ， 在 这 一 点 可 以 从 多 个 备 选 问题 求解 路 径 和 策略 中 选择 其 一 ， 


只 要 它们 中 的 任 一 个 是 成 功 的 ， 就 足以 解决 这 个 问题 。 
3. 3.3 进一步 的 例子 和 应 用 


例 3. 3.3 MACSYMA 

与 或 图 的 一 个 自然 例子 是 对 数学 函数 进行 符号 积分 。 
MACSYMA 是 为 数学 家 广泛 使 用 的 一 个 著名 程序 。 可 以 把 
MACSYMA 的 推理 过 程 表示 为 一 个 与 或 图 。 在 进行 积分 时 ， 
一 类 重要 的 策略 是 把 表达 式 分 解 为 每 一 个 可 以 被 独立 积分 的 图 3-23 ”一 组 命题 演算 的 与 或 图 
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子 表达 式 ， 它 们 的 结果 可 以 用 代数 方法 组 合 为 解 表达 式 。 这 类 策略 的 例子 包括 分 部 分 积分 的 规 
则 以 及 把 和 的 积分 分 解 为 各 个 单个 项 的 积分 和 的 规则 。 这 些 策 略 代表 了 把 问题 分 解 为 独立 子 问 
题 的 思想 ， 因 此 可 以 把 它们 表示 为 图 中 的 与 结 点 。 

另 一 类 策略 是 通过 不 同 的 代数 置换 来 简化 一 个 表达 式 。 因 为 任何 给 定 的 表达 式 都 有 很 多 种 
不 同 的 置换 方法 ， 所 以 每 一 种 都 代表 了 一 种 独立 的 解 策 略 ， 可 以 把 它们 表示 为 图 中 的 或 结 点 。 图 
3-24 画 出 了 这 样 的 问题 求解 器 所 搜索 的 空间 。 这 幅 图 的 搜索 是 日 标 驱动 的 ， 它 从 “找到 特定 函 
数 的 积分 ”人 手 ， 道 向 搜索 直到 找到 已 定义 积分 的 代数 表达 式 。 注 意 : 这 是 明显 应 该 使 用 目标 
驱动 搜索 的 一 个 例子 。 对 问题 求解 器 来 说 ， 想 要 不 从 目标 查询 开始 逆向 寻找 形成 预期 积分 的 代 
数 表达 式 的 做 法 实际 上 是 行 不 通 的 。 
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图 3-24 ”积分 问题 的 部 分 状态 空间 与 或 图 
[摘自 Nilsson (1971)] 


例 3.3.4 目标 驱动 与 或 搜索 
这 个 例子 摘自 谓词 演算 ， 它 代表 了 对 图 的 目标 驱动 搜索 。 要 证 明 的 目标 是 一 个 含有 变量 的 
谓词 演算 表达 式 。 其 中 的 公理 是 狗 Fred 和 其 主人 Sam 之 间 关系 的 逻辑 描述 。 我 们 假定 寒冷 的 一 
天 就 是 非 温暖 的 一 天 ， 以 便 绕 过 谓词 的 等 价 表达 所 带 来 的 复杂 问题 ， 这 个 问题 会 在 第 7 章 和 第 
14 章 中 详细 讨论 。 这 个 例子 的 事实 和 规则 是 用 下 列 语 句 及 其 等 价 的 谓词 演算 来 表示 的 : 
1) Fred 是 一 只 柯 利 狗 。 
collie(fred) 
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2) Sam 是 Fred 的 主人 。 

master(fred, sam) 
3) 这 一 天 是 星期 六 。 
day( saturday) 
星期 六 很 冷 。 
- (warm( saturday)) 
Fred 是 训练 有 素 的 。 
trained( fred) 
长 毛 垂 耳 狗 是 很 好 的 狗 ， 训 练 有 素 的 柯 利 狗 也 是 如 此 。 
YX [spaniel(X) V (collie(X) Atrained(X)) 一 gooddog(X)] 
如 果 一 条 狗 是 好 狗 ， 而 且 它 有 主人 ， 那么 他 应 该 和 主人 在 一 起 。 
Vv (X,Y, 2Z)[gooddog( X) A master( X, Y) A location( Y, Z) —»location( X, Z)] 
如 果 是 星期 六 ,而 且 天 气 很 上 暖和， 那么 Sam 就 在 公园 里 。 
(day( saturday) A warm( saturday) ) —>location( sam, park) 
如 果 是 星期 入， 而 且 天 气 不 暖和， 那么 Sam 就 在 博物 馆 里 。 
(day( saturday) A ~ (warm(saturday) ) ) 一 location( sam, museum) 

这 个 问题 的 目标 是 表达 式 3X location(fred, X) ， 意 思 是 “fred 在 哪里 ?” 反 向 搜索 算法 从 分 
析 建 立 这 一 目标 的 方式 人 手 :“ 如 果 fred 是 一 条 好 狗 ， 而 且 fred 有 主人 ， 而 且 fred 的 主人 在 某 个 
位 置 ， 那 么 fred 也 在 这 个 位 置 。” 然 后 分 析 这 个 规则 的 前 提 : gooddog (好 狗 ) 的 条 件 是 什么 ? 
依 此 类 推 。 继 续 这 个 过 程 ， 便 建立 起 如 图 3-25 所 示 的 与 或 图 。 


< 一 


4 


— 


5 


_— 


6 


Se 


7 


_ 


8 


9 


i 


搜索 方向 









gooddog(X) master(X,Y) location(Y,Z) 
















day(saturday) 


collie(X) trained(X) 





master(fred,sam) 





- (warm(saturday)) 





trained(fred) 








collie(fred) 





置换 = {ired/X, sam/Y, museum/Z} 
图 3-25 表明 fred 在 博物 馆 的 解 子 图 


下 面 我 们 仔细 地 分 析 这 种 搜索 ， 原 因 是 这 个 例子 里 使 用 谓词 演算 进行 了 目标 驱动 搜索 ， 而 
且 演示 了 合 一 对 产生 搜索 空间 的 作用 。 这 个 问题 要 解决 的 目标 是 “fred 在 哪里 ?” 更 形式 化 地 讲 ， 
这 个 问题 可 以 被 看 作 求 出 变量 X 的 一 个 置换 ， 如 果 存 在 这 样 的 一 个 置换 ， 那 么 在 这 个 置换 下 lo- 
cation(fred, X) 是 初始 断言 的 逻辑 结论 。 

既然 要 决定 Fred 的 位 置 ， 那 么 就 该 分 析 以 location 为 结论 的 子 句 ， 第 一 个 就 是 子 句 7。 然 后 
把 这 个 子 句 的 结论 location (X，Z) 通过 置换 {fred/X，X/Z) 和 location (fred，X) 合 一 。 这 
个 规则 的 前 提 组 成 了 最 顶端 目标 的 与 后 继 ， 对 其 使 用 同样 的 置换 便 得 到 : 
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gooddog(fred) A master( fred, Y) A location( Y, X) 


可 以 把 以 上 表达 式 的 含义 解释 为 : 找到 fred 的 方式 是 要 看 fred 是 否 是 一 条 好 狗 ， 并 查 明 fred 
的 主人 是 谁 以 及 其 主人 在 哪里 。 于 是 可 以 使 用 这 3 个 子 目 标 来 代替 初始 目标 。 这 些 都 是 与 结 点 ， 
因此 必须 将 它们 全 都 求解 出 来 。 

为 了 求解 这 些 子 目标 ， 问 题 求解 器 首先 判断 fred 是 否 是 一 条 好 狗 。 利 用 置换 {fred/X} ， 这 正 
好 与 子 句 6 相 匹配 。 子 名 6 的 前 提 是 两 个 表达 式 的 或 : 


spaniel( fred) V (collie(fred) A trained( fred) ) 


这 两 个 或 结 点 中 第 一 个 是 spaniel(fred) 。 数 据 库 中 不 包含 这 个 断言 ， 所 以 问题 求解 器 必须 认 
为 它 是 假 的 。 另 一 个 或 结 点 是 (collie(fred) Atrained(fred) ) ， 也 就 是 说 ，fred 是 collie 日 fred 被 专 
门 训练 过 。 二 者 都 需要 为 真 ， 而 这 正好 是 子 句 1 和 子 句 5。 

这 证 明了 gooddog(fred) 是 真 的 。 接 下 来 问题 求解 器 分 析 子 句 7 的 第 二 个 前 提 : master(X， 
Y)。 使 用 置换 {fred/X} ，master(X, Y) 就 变 成 了 master(fred, Y) ， 再 把 它 与 master(fred, sam) 
的 事实 ( 子 句 2) 合 一 。 这 产生 了 合 一 置换 {sam/Y} ， 这 一 置换 也 把 子 句 7 的 第 三 个 子 目 标 赋值 
为 sam ， 形 成 了 新 的 子 目 标 location( sam, X) 。 

在 求解 这 个 子 目 标 时 ,假定 问题 求解 器 是 按 顺序 试验 规则 的 ， 目 标 location( sam, X) 会 先 与 
子 句 7 的 结论 合 一 。 注 意 : 这 时 我 们 是 在 用 不 同 的 X 绑 定 试验 同一 条 规则 。 回 忆 在 第 2 章 中 我 们 
曾 说 明 ，X 是 哑 元 ， 因 此 可 以 取 任 何 名 字 (任何 以 英文 大 写字 母 开头 的 字符 串 ) 。 因 为 任何 变量 
名 的 含义 范围 是 局 限 在 它 所 出 现 的 子 句 中 的 ， 所 以 谓词 演算 中 根本 不 存在 全 局 变量 。 对 此 的 另 
一 种 解释 是 ， 变 量 值 是 作为 参数 传人 其 他 子 句 的 ， 没 有 固定 的 〈 内 存 ) 位置。 因此 在 这 个 例子 
的 不 同 规则 中 X 的 多 次 出 现 是 代表 不 同 的 形式 参数 ( 见 14.3 节 )。 

在 利用 这 些 新 的 绑 定 来 求解 规则 7 的 前 提 时 ， 问 题 求解 器 会 因 sam 不 是 gooddog 而 失败 。 
于 是 ， 搜 索 会 回 湖 到 目标 location( sam, X) 并 试验 下 一 个 分 支 ， 即 规则 8 的 结论 。 这 也 会 失败 ， 
导致 再 次 回 渊 并 与 子 句 9 的 结论 location( sam, museum) 合 一 。 

因为 子 句 9 的 前 提 是 由 一 组 断言 〈 子 句 3 和 子 句 4) 支持 的 ， 所 以 得 出 子 句 9 的 结论 为 真 。 
这 个 最 终 的 合 一 走 了 一 圈 又 回 到 树 顶 ， 用 location(fred, museum) 给 出 了 3X Ilocation(fred, X) 的 
最 终 答案 。 

仔细 分 析 图 的 目标 驱动 搜索 ， 并 将 其 与 例 3. 3. 2 中 的 数据 驱动 搜索 相 比 较 是 很 有 意义 的 。 本 
书 的 其 他 部 分 包含 了 对 这 个 问题 的 进一步 讨论 : 在 下 个 例子 中 更 细致 地 比较 了 搜索 图 的 这 两 种 
方法 , 但 是 全 面 的 详细 讨论 是 在 第 6 章 中 的 “产生 式 系统 ”和 第 四 部 分 中 的 “专家 系统 应 用 ” 
中 给 出 的 。 这 个 例子 蕴涵 的 另 一 个 要 点 是 子 句 的 顺序 影响 了 搜索 的 顺序 。 在 上 面 的 例子 中 ， 依 次 
试验 了 多 个 location 子 句 ， 回 溯 搜 索 排 除了 那些 无 法 证 明 为 真 的 子 句 。 


例 3. 3.5 再 谈 财 务 顾问 程序 

在 第 2 章 的 最 后 一 个 例子 中 我 们 使 用 谓词 演算 表示 了 一 系列 规则 ， 目 的 是 给 出 投资 建议 。 在 
那个 例子 中 ， 我 们 用 假 言 推理 来 为 某 个 投资 个 体 推断 合适 的 投资 方案 。 当 时 我 们 没有 讨论 程序 
是 如 何 给 出 合适 建议 的 。 当 然 这 是 一 个 搜索 问题 ， 本 例 演示 了 一 种 实现 基于 逻辑 的 财务 顾问 程 
序 的 途径 , 采用 的 是 目标 导向 的 带 回潮 的 深度 优先 搜索 。 这 里 的 讨论 仍然 使 用 2.4 节 中 的 谓词 
在 此 不 再 次 述 。 

假定 某 个 投资 个 体 要 供养 两 个 人 ， 有 20 000 美元 存款 ，30 000 美元 稳定 收入 。 正 如 第 2 章 所 
讨论 的 ， 我 们 可 以 把 描述 这 些 事实 的 谓词 演算 表达 式 加 到 本 来 的 谓词 演算 表达 式 集合 中 。 另 一 
种 做 法 是 ， 程 序 开 始 搜索 时 不 使 用 这 些 信 息 ， 当 需要 时 再 要 求 用 户 加 入 。 这 样 做 的 优点 是 不 需要 
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询问 和 表示 那些 与 问题 解 没有 必要 关系 的 数据 。 这 种 方法 是 经 常 在 专家 系统 中 使 用 的 ， 本 例 中 
也 使 用 了 这 种 方法 。 . 

在 咨询 中 ， 我 们 的 目标 是 找到 一 种 投资 方案 ， 因 此 可 以 将 其 表示 为 谓词 演算 表达 式 3X in- 
vestment(X) ， 其 中 X 是 我 们 需要 绑 定 的 目标 变量 。 有 三 条 规则 (1、2 和 3) 给 出 了 投资 结论 ， 
所 以 我 们 的 查询 要 与 这 三 个 规则 的 结论 合 一 。 如果 我 们 选 反 规 则 1 开始 探索 ， 那 么 前 提 savings_ac 
count( inadequate) 就 成 为 子 目标 ， 也 就 是 说 接 下 来 要 展开 它 的 孩子 结 点 。 

在 产生 savings_account(inadequate) 的 孩子 结 点 时 ， 惟 一 可 以 应 用 的 规则 就 是 规则 5。 这 产 
生 了 与 结 点 : 


amount_saved( X) A dependents( Y) A -~ greater( X, minsavings( Y)) 


如 有 果 我 们 打算 从 左 到 右 分 析 这 些 前 提 ， 那 么 amount_saved( X) 将 成 为 第 一 个 子 目 标 。 因 为 
系统 不 包含 这 个 子 目 标 ， 所 以 它 会 向 用 户 查 询 。 当 加 入 了 amount_saved(20000) 时 ， 用 20000 置 
换 X 进行 合 一 ， 这 个 子 目 标 便 完成 了 。 注 意 : 因为 正在 搜索 的 是 与 结 点 ， 所 以 如 果 这 里 失败 了 
就 不 必 再 分 析 表 达 式 的 其 余部 分 。 

类 似 地 ， 子 目标 dependents(Y) 会 导致 一 个 用 户 查 询 ， 然 后 把 回答 dependents(2) 加 入 到 多 
辑 描述 中 。 置 换 {2/Y} 可 以 把 这 个 子 目 标 与 表达 式 匹配 。 接 下 来 搜索 要 演算 以 下 表达 式 的 真 值 : 


-~ greater( 20000, minsavings(2)) 


求 出 的 结果 为 假 ， 导 致 整个 与 结 点 失败 。 然 后 搜索 回潮 到 双亲 结 点 savings_account(inadequate) 
并 试图 找到 另 一 种 方式 证 明 这 个 结 点 为 真 。 这 对 应 于 产生 搜索 中 的 下 一 个 孩子 。 因 为 没有 其 他 
的 规则 可 以 得 出 这 个 子 目 标 ， 所 以 搜索 失败 返回 到 顶层 的 目标 investment(X) 。 结 论 与 自 标 合 一 
的 下 一 个 规则 是 规则 2， 于 是 又 产生 了 新 的 子 目 标 : 


savings_account( adequate) A income( adequate) 


继续 搜索 ， 根 据 规则 4 的 结论 可 以 证 明 savings_account( adequate) 为 真 ， 根 据 规则 6 的 结 
论 可 以 得 出 income(adequate) 。 这 个 搜索 的 其 余部 分 留 给 读者 ， 最 终 得 到 的 与 或 图 显示 在 图 
3-26 中 。 


例 3. 3.6 英语 语法 分 析 程 序 和 语句 生成 程序 

这 个 最 后 的 例子 不 是 关于 谓词 演算 的 ， 而 是 由 用 于 语法 分 析 的 一 系列 改写 规则 组 成 ， 这 些 
规则 是 英语 语法 的 一 个 子 集 。 改 写 规则 把 一 个 表达 式 转换 成 另 一 个 表达 式 ， 做 法 是 把 箭头 〈**) 
一 侧 的 模式 替换 为 另 一 侧 的 模式 。 例 如 ， 可 以 订 一 个 改写 规则 集 把 用 一 种 语言 (比如 英语 ) 写 
的 表达 式 转换 成 另 一 种 语言 (可 能 是 法 语 或 一 个 谓词 演算 子 句 ) 。 本 例 给 出 的 改写 规则 把 英语 语 
名 的 一 个 子 集 转 换 成 更 高 层次 的 语法 结构 ， 比 如 名 词 短语 、 动 词 短语 以 及 语句 。 可 以 使 用 这 些 规 
则 来 解析 单词 序列 ， 也 就 是 判断 它们 是 不 是 合法 语句 〈 即 判断 语法 正确 还 是 不 正确 ) ， 并 对 语句 
的 语言 结构 建 模 。 

以 下 是 英语 语法 的 一 个 简单 子 集 ， 包含 5 条 规则 : 

1) sentence**np vp (句子 是 名 词 短语 后 面 跟 有 动词 短语 ) 

2) np<*n (名 词 短语 是 名 词 ) 

3) np art n (名 词 短语 是 冠 词 后 面 跟 有 和 名词) 

4) Vpev (动词 短语 是 动词 ) 

5) vpe*v np (动词 短语 是 动词 后 面 跟 有 和 名词 短语 ) 

除了 这 些 语法 规则 ， 语 法 分 析 程 序 还 需要 一 个 字典 ， 里 面 含 有 语言 中 的 单词 。 这 些 单词 被 称 
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为 语法 的 终端 终结 符 。 它 们 是 由 改写 规则 按 这 些 单词 的 语言 成 分 定义 的 。 在 下 面 的 “字典 ” 中 ， 


a”、“the”、“man”、“dog”、“likes” 和 “bites” 是 我 们 的 简单 语法 的 终端 终结 符 ， 


6) arte>a 

7) arte>the (“a” 和 “the” 是 冠 词 ) 
8) neman 

9) nedog (“man” 和 “dog” 是 名 词 ) 
10) volikes 


11) vobites (“likes” 和 “bites” 是 动词 ) 


investment(X) 


savings_account(inadequate) 


amount_saved(X) dependents(Y) -~ greater(X,minsavings(Y)) 


amount_saved(20000) dependents(2) ] 在 这 里 失败 并 回潮” 


savings_account(adequate) NU 


amount_saved(X) dependents(Y) greater(X,minsavings(Y)) 


amount saved(20000) dependents(2) income{adequate) 
s< 一 | 


earnings(X,steady) dependents(Y) greater(X,minincome(Y)) 
earnings(30000, steady) dependents(2) 


图 3-26 ”财务 顾问 程序 搜索 的 与 或 图 


这 些 改写 规则 所 定义 的 与 或 图 如 图 3-27 所 示 ， 其 中 sentence 是 根 。 改 写 规 则 左边 的 元 素 对 
应 于 图 中 的 与 结 点 。 同 一 结论 的 多 个 规则 形成 了 图 中 的 或 结 点 。 注 意 : 这 幅 图 的 叶子 (或 末端 ) 
结 点 就 是 语法 中 的 英文 单词 (所 以 把 单词 称 为 终端 终结 符 )。 

根据 语法 ， 一 个 表达 式 为 合式 表达 式 的 条 件 是 : 这 个 表达 式 完 全 是 由 终结 符号 构成 的 ; 
存在 一 系列 置换 可 以 利用 改写 规则 把 表达 式 简 化 为 符号 sentence。 另 外 ， 也 可 以 把 这 个 条 
件 看 作 构 建 一 个 语法 解析 树 ( parse tree) ， 表 达 式 的 单词 是 树 的 叶子 ， 符 号 sentence 是 树 
的 根 。 
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likes - bites likes bites 





man dog a the man dog 


man dog a the man dog 
图 3-27 例 3.3.6 中 语法 的 与 或 图 
注 : 为 了 画图 简单 ， 我 们 使 某 些 结 点 (np、art 等 ) 多 次 出 现 

例如 ， 我 们 可 以 通过 构建 图 3-28 所 示 的 语法 解析 树 来 解析 “the dog bites the man” 这 各 
话 。 这 个 树 是 图 3-27 所 示 的 与 或 图 的 一 个 子 树 ， 由 搜索 图 的 过 程 构建 。 数 据 驱 动 的 语法 解析 算 
法 可 以 这 样 实现 这 种 解析 : 把 改写 规则 的 右边 部 分 与 语句 中 的 模式 匹配 ， 按 规则 的 书写 顺序 试 
验 这 些 匹 配 。 一 旦 发 现 了 一 种 匹配 ， 就 用 规则 左边 的 模式 代替 表达 式 中 与 规则 右 端 匹配 的 那 一 
部 分 。 继 续 这 个 过 程 ， 直 到 这 个 语句 简化 为 符号 sentence (表明 解析 成 功 ) 或 所 有 规则 都 已 应 
用 过 (表明 解析 失败 )。 解 析 “the dog bites the man” 的 过 程 如 下 : 

1) 第 一 个 匹配 的 规则 是 规则 7， 把 the 改 
写 为 at。 于 是 得 到 : art dog bites the man。 

2) 下 一 轮 和 迭代 找到 匹配 的 规则 还 是 规则 
7， 得 到 art dog bites art man。 

3) 接 下 来 匹配 的 是 规则 8， 得 到 art dog 
bites art n。 

4) 匹配 规则 3， 得 到 art dog bites np。 

5) 匹配 规则 9， 得 到 art n bites np。 

6) 又 可 以 应 用 规则 3 ， 得 到 np bites np。 

7) 应 用 规则 11， 得 到 np v np。 

8) 应 用 规则 5， 得 到 np vp。 

9) 匹配 规则 1， 将 语句 简化 为 sentence， 
表达 式 正 确 。 

上 面 的 例子 实现 了 数据 导向 的 深度 优先 解 ” 图 3-23 句子 “The dog bites the man” 的 解析 树 
析 ， 因 为 它 总 是 向 表达 式 应 用 最 高 层 的 规则 。 入: 这 是 图 3-27 的 “个 了 图 
例如 ， 在 把 bites 简化 为 v 前 把 art n 简化 为 np。 也 可 以 用 目标 导向 的 方式 来 实现 语法 解析 ， 把 
sentence 作为 起 始 字符 串 ， 寻 找 一 系列 匹配 规则 左边 的 替代 模式 ， 产 生 一 系列 匹配 目标 语句 的 
终端 终结 符 。 

语法 解析 是 很 重要 的 ， 它 不 仅 可 用 于 自然 语言 理解 〈 第 15 章 ) ， 而 且 可 用 于 计算 机 语言 





the dog bites the man 
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编译 器 和 解释 器 ( Aho and Ullman 1977 ) 。 文献 中 有 很 多 用 于 解析 各 种 语言 的 算法 。 例 如 ,很 多 
目标 导向 的 语法 解析 算法 预测 (look ahead) 输入 流 中 的 内 容 ， 以 判断 接 下 来 要 应 用 的 规则 。 

在 这 个 例子 中 ,我 们 使 用 了 一 种 非常 简单 的 途径 以 无 信息 的 方式 搜索 与 或 图 。 其 中 ， 很 有 趣 
的 是 搜索 的 实现 方法 。 该 方法 保持 当前 表达 式 的 记录 并 试 着 依次 寻找 匹配 的 规则 ， 这 是 利用 产 
生 式 系统 实现 搜索 的 一 个 例子 。 利 用 产生 式 系统 实现 搜索 是 第 6 章 的 一 个 主要 论题 。 

也 可 以 使 用 改写 规则 根据 语法 规则 来 产生 合法 语句 。 可 以 使 用 目标 驱动 搜索 来 生成 语句 ， 
从 sentence 开始 把 它 作为 顶层 目标 ， 当 不 再 有 可 以 应 用 的 规则 时 结束 。 这 产生 了 终结 符号 组 成 
的 字符 串 ， 这 个 串 是 符合 语法 的 合法 语句 。 例 如 ， 

sentence 是 np 后 面 跟 有 vp (规则 1) 。 

用 nm 代替 np (规则 2) ， 得 到 n vp。 

man 是 第 一 个 可 用 的 n (规划 8) ， 得 到 man vp。 

现在 np 已 经 满足 要 求 ， 接 下 来 蔡 代 vp。 规 则 3 用 v 替代 vp， 于 是 得 到 man v。 

规则 10 用 likes 代替 v。 

于 是 得 到 了 第 一 个 可 接受 的 语句 man likes。 

如 果 想 要 产生 所 有 可 接受 的 语句 ， 那 么 可 以 系统 地 重复 这 个 搜索 直到 试验 了 所 有 可 能 ， 穷 
举 搜索 了 整个 状态 空间 。 这 样 产 生 的 句子 包括 : a man likes，the man likes ， 等 等 。 通 过 穷 举 搜 
索 ， 产 生 了 大 约 80 个 正确 的 语句 。 这 其 中 包括 像 the man bites the dog 这 样 语义 异常 的 句子 。 

可 以 通过 各 种 方式 把 语法 解析 和 语句 生成 放 在 一 起 使 用 来 解决 不 同 的 问题 。 例 如 ， 如 果 希 
望 找 出 补 全 字符 串 “the man” 的 所 有 句子 ， 那 么 可 以 给 问题 求解 器 一 个 不 完整 的 字符 串 the 
man…。 问 题 求解 器 可 以 先 按 数据 驱动 的 方式 向 上 探索 ， 以 产生 补 全 语句 的 规则 (规则 1)， 其 
中 np 被 the man 代替 ; 然后 再 以 目标 驱动 的 方式 来 求 出 所 有 可 能 的 vp 以 补 全 这 个 句子 。 这 会 产 
生 像 这 样 的 语句 : man likes ，the man bites the man， 等 等 。 再 次 强调 ， 这 个 例子 仅 考虑 语法 的 
正确 性 。 语 义 问 题 (这 个 字符 串 是 否 可 以 被 正确 映射 到 某 个 “世界 ”) 完全 是 另 一 回 事 。 第 2 章 
分 析 了 为 表达 式 构建 以 逻辑 为 基础 的 语义 的 问题 ; 对 于 自然 语言 中 的 要 检验 的 句子 ， 这 个 问题 ， 
要 复杂 得 多 ， 我 们 将 在 第 15 章 中 讨论 这 部 分 内 容 。 

在 下 一 章 中 我 们 将 讨论 如 何 使 用 启发 来 使 搜索 集中 在 状态 空间 尽 可 能 小 的 部 分 。 第 6 章 讨论 
了 产生 式 系统 和 其 他 的 一 些 软件 “体系 结构 ” ， 用 来 控制 状态 空间 搜索 。 


3.4 结语 和 参考 文献 


本 章 介 绍 了 状态 空间 搜索 的 基本 理论 ， 即 利用 图 论 来 分 析 问 题 求 解 策略 的 结构 和 复杂 度 。 
本 章 还 比较 了 数据 驱动 推理 和 目标 驱动 推理 ， 以 及 深度 优先 搜索 和 宽度 优先 搜索 。 与 或 图 使 我 
们 可 以 应 用 状态 空间 搜索 来 实现 以 逻辑 为 基础 的 推理 。 

很 多 关于 计算 机 算法 的 教材 讨论 了 基本 的 图 搜索 理论 ， 其 中 包括 : Thomas Cormen 、Charles 
Leiserson 和 Ronald Rivest (1990) 所 著 的 《Introduction to Algorithms》，Paul Helman 和 Robert Ver- 
off (1986) 所 著 的 《Walls and Mirrors》，Robert Sedgewick (1983) 所 著 的 《Algorithms》 以 及 El- 
lis Horowitz 和 Sartaj Sahni (1978) 所 著 的 《Fundamentals of Computer Algorithms》。 有 限 自动 机 在 
Lindenmayer 和 Rosenbery (1976) 的 文章 中 有 介绍 。 关 于 与 或 搜索 的 更 多 算法 将 在 第 14 章 “ 自 
动 推理 ”中 给 出 。 

Alan Newell 和 Herbert Simon (1972) 所 著 的 《Human Problem Solving》 中 介绍 了 使 用 图 搜索 
来 对 智能 问题 求解 建 模 的 方法 。 讨 论 搜索 策略 的 人 工 智 能 教材 包括 : Nils Nilsson 的 《Artificial Im- 
telligence》 (1998) 、Patrick Winston 的 《Artificial Intelligence》 (1992) 以 及 Eugene Charniak 和 
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Drew McDermott (1985) 所 著 的 《Artificial Intelligence》。 Judea Pearl (1984 ) 所 著 的 《Heuristics》 
介绍 了 搜索 算法 并 为 我 们 要 在 第 4 章 中 讨论 的 内 容 打 了 基础 。 开发 新 的 图 搜索 技术 是 每 年 AI 会 
议 的 经 常 性 主题 。 


3. 


ps 


5 习题 


* 汉 米 尔 顿 路 径 Hamiltonian path) 就 是 正好 使 用 图 中 每 个 结 点 一 次 的 路 径 。 存 在 这 种 路 径 的 必要 条 件 是 


什么 ? 在 哥 尼斯 堡 地 图 中 是 否 存在 这 样 的 路 径 ? 


问题 : 一 个 农夫 带 着 狠 、 羊 还 有 菜 来 到 河 边 要 过 河 。 河 边 有 一 条 船 ， 只 有 农夫 能 划船 ， 而 且 每 次 只 能 有 


两 个 物品 在 船上 《划船 者 也 是 物品 ) 。 如 果 把 狼 和 羊 单独 放 一 起 ， 狼 将 吃 掉 羊 ， 如 果 把 羊 与 菜单 独 放 一 
起 ， 羊 将 吃 掉 菜 。 设 计 一 个 过 河 的 序列 ， 使 得 四 样 物 品 都 能 安全 地 运 到 河 对 岸 。 

请 给 出 农夫 、 狼 、 山 羊 和 卷心菜 问题 的 图 表示 ， 用 结 点 表示 这 个 世界 中 的 状态 。 例 如 ， 农 夫 和 山羊 在 西 
岸 ， 狼 和 卷心菜 在 东 岸 。 讨 论 宽度 优先 和 深度 优先 搜索 这 个 空间 的 优势 。 


.建立 一 个 有 限 状 态 接受 器 来 识别 下 面 的 二 进 制 数字 字符 申 ; 


a) 包含 “111”。 
b) 以 “111” 结 尾 。 
c) 包含 “111” 但 不 包含 多 于 3 个 连续 “1”。 


* 给 出 一 个 最 近邻 策略 无 法 找到 最 优 路 径 的 巡回 推销 员 问 题 的 实例 。 提 出 解决 这 个 问题 的 男 一 种 启发 式 


方法 。 


.针对 图 3-29,“ 徒 手 运行 ”回溯 算法 。 从 状态 A 开始， 记录 NSL、SL、CS 等 的 逐 项 值 。 
. 选择 一 种 程序 设计 语言 实现 回溯 算法 。 A 


. 判断 是 目标 驱动 搜索 还 是 数据 驱动 搜索 更 适合 
解决 下 面 的 每 个 问题 。 并 说 出 你 的 理由 。 


a) 诊断 汽车 的 机 械 故 障 。 

b) 你 过 到 一 个 人 ， 她 自称 是 你 的 远房 堂 妹 ， 你 
们 有 一 个 共同 的 名 叫 John Doe 的 前 辈 。 你 想 
要 核实 她 的 说 法 。 

c) 另 一 个 人 自称 是 你 的 远房 堂 弟 ， 他 不 知道 你 
们 的 共同 前 辈 的 名 字 但 知道 你 们 的 亲缘 不 超 。 
过 八代 。 你 想 找到 这 个 前 辈 或 判定 根本 不 存 
在 这 样 的 前 辈 。 图 3-29 要 搜索 的 图 

d) 平面 几何 的 定理 证 明 程 序 。 

e) 一 个 分 析 声 纳 读数 和 解释 这 些 读数 的 程序 ， 比 如 可 以 辨别 大 的 潜水 艇 、 小 的 潜水 艇 、 鲸 鱼 和 鱼 群 。 

f) 一 个 专家 系统 用 来 帮助 人 们 按 种 、 属 等 来 分 类 植物 。 
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- 为 练习 7 中 的 例子 选取 深度 优先 搜索 或 宽度 优先 搜索 方法 中 的 一 种 ， 并 说 明 选 择 理由 。 

. 编写 一 个 用 于 与 或 图 的 回溯 算法 。 

-以 数据 驱动 方式 跟踪 例 3. 3. 4 中 目标 驱动 的 gooddog 问题 的 执行 过 程 。 

， 再 给 出 一 个 与 或 图 搜索 的 例子 ， 并 展开 一 部 分 搜索 空间 。 

.跟踪 例 3. 3. 5 中 财务 顾问 问题 的 数据 驱动 方式 执行 过 程 。 针 对 的 案例 是 这 样 一 个 投资 个 体 : 要 供养 4 个 


人 ， 有 18 000 美元 存款 ， 每 年 有 25 000 美 元 稳定 收入 。 把 这 个 问题 与 文中 的 例子 进行 比较 ， 并 据 此 提 
出 一 种 解决 这 种 问题 的 通用 “最 佳 ”策略 。 


:向 例 3. 3.6 的 英语 语法 中 加 入 适用 于 形容 词 和 副词 的 规则 。 
,向 例 3.3.6 的 英语 语法 中 加 入 适用 于 (多 个 ) 介词 短语 的 规则 。 
. 向 例 3.3.6 的 英语 语法 中 加 入 语法 规则 ， 使 之 允许 这 样 的 复合 语句 : 


sentence>sentence AND sentence 


第 4 章 启发 式 搜索 


当 问题 和 问题 空间 确定 后 ， 符 号 系统 所 要 解决 的 任务 就 是 如 何 使 用 有 限 的 处 理 资源 来 产生 
可 能 解 ， 直 到 发 现 一 个 可 以 通过 〔 问 题 所 定义 ) 检验 的 解 。 如 果 符 号 系统 可 以 对 可 能 解 的 产生 
顺序 进行 甘 种 控制 ， 并 对 这 个 产生 顺序 加 以 组 织 以 使 高 可 能 性 的 解 先 出 现 ， 那 么 这 是 非常 理想 
的 。 如 果 符 号 系统 成 功 地 做 到 了 这 一 点 ， 那 么 它 便 展 示 出 了 智能 。 对 于 一 个 处 于 有 限 资源 下 的 系 
统 来 说 ， 智 能 体现 在 明智 地 选择 下 一 步 该 做 什么 …… 
一 一 纽 维尔 和 西蒙 ，1976 年 度 图 灵 奖 获奖 演说 





Lieber and Stoller 


4.0 简介 


乔治 . 波 利 亚 〈George Polya) 把 启发 定义 为 “对 发 现 和 发 明 的 方法 和 规律 的 研究 ” (Polya 
1945 ) 。 这 一 含义 可 以 追溯 到 这 个 词 的 希腊 词根 一 一 动词 eurisco， 意 为 “我 发 现 了 ”。 当 阿 基 米 
德 在 洗澡 时 突然 发 现 了 验证 皇冠 是 否 为 纯 金 的 方法 时 ， 他 喊 道 “Eureka!1”， 意 思 是 “我 已 经 找 
到 了 !”。 在 状态 空间 搜索 中 ， 启 发 被 形式 化 定义 为 一 些 规则 ， 这 些 规 则 能 选取 状态 空间 中 最 可 
能 产生 可 接受 解 的 分 支 。 

AI 问题 求解 器 在 以 下 两 种 基本 情况 下 将 采用 启发 : 

1) 因为 在 问题 陈述 或 现 有 数据 中 存在 固有 的 模糊 性 ， 所 以 问题 可 能 没有 精确 解 。 医 疗 诊断 
就 是 这 样 的 一 个 例子 。 对 于 已 知 的 一 系列 症状 ， 可 以 有 很 多 种 可 能 的 导致 原因 ; 因此， 医生 必须 
使 用 启发 来 选取 最 可 能 的 诊断 并 制定 治疗 计划 。 视 觉 是 存在 固有 不 精确 性 的 另 一 个 例子 。 视 觉 
画面 经 常 是 存在 战 义 的， 允许 对 对 象 的 连通 性 、 范 围 和 朝向 有 多 种 解释 。 视 觉 幻 像 就 是 这 种 模糊 
性 的 一 个 例子 。 视 觉 系统 通常 使 用 启发 从 对 给 定 场景 的 几 种 可 能 解释 中 选取 最 可 能 的 解释 。 

2) 问题 可 能 有 精确 解 ， 但 是 找到 这 个 解 的 运算 开销 可 能 是 让 人 难以 承受 的 。 在 许多 问题 
(比如 国际 象棋 ) 中 ， 状 态 空间 的 组 合 增长 是 爆炸 性 的 ， 可 能 状态 的 数量 随 着 搜索 深度 的 增 大 呈 
指数 或 阶乘 增长 。 在 这 些 情况 下 ， 类似 深度 优先 或 宽度 优先 这 样 的 穷 举 性 的 变 力 搜索 技术 可 能 
无 法 在 可 行 时 间 限 度 内 找到 解 。 启 发 通过 引导 搜索 沿 最 有 希望 的 路 径 穿 越 空间 来 降低 这 种 复杂 
性 。 启 发 式 算 法 把 没有 希望 的 状态 以 及 这 些 状态 的 后 代 从 考虑 中 排除 ， 这 样 便 可 以 克服 这 种 组 
合 爆 炸 ， 找 到 可 接受 的 解 。 

不 幸 的 是 ， 和 所 有 有 关 发 现 和 发 明 的 规律 一 样 ， 启 发 也 是 很 容易 失误 的 。 启 发 仅 是 对 问题 求 
解 过 程 中 下 一 步 要 采取 的 措施 的 一 种 精明 猜测 。 很 多 时 候 ， 它 是 建立 在 经 验 或 直觉 基础 之 上 的 。 
因为 启发 所 使 用 的 信息 是 有 限 的 ， 比 如 当前 情景 的 知识 或 对 当前 open 列表 中 状态 的 描述 ， 所 以 
它 很 少 能 够 预测 出 距离 当前 搜索 位 置 很 远 的 状态 空间 的 准确 状态 。 启 发 可 能 引导 搜索 算法 得 到 
一 个 并 非 最 优 的 解 或 根本 找 不 到 任何 解 。 这 是 启发 式 搜索 的 固有 局 限 性 ， 是 不 会 因 使 用 “更 好 
的 ”的 启发 或 更 高 效 的 搜索 算法 而 消除 的 Garey and Johnson 1979)。 

长 期 以 来 ， 启 发 和 实现 启发 式 搜 索 的 算法 的 设计 一 直 是 人 工 智能 研究 的 一 个 核心 问题 。 博 
弈 和 定理 证 明 是 人 工 智能 的 两 个 最 古老 应 用 ， 而 这 两 个 问题 都 需要 用 启发 来 修 前 可 能 解 的 空间 。 
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分 析 一 个 数学 问题 定义 域 中 可 以 做 出 的 每 一 种 推理 或 国际 象棋 中 可 以 采取 的 每 种 可 能 移动 都 是 
不 可 行 的 。 启 发 式 搜索 经 常 是 惟一 可 行 的 方案 。 

最 近 ， 专 家 系统 的 研究 已 经 证 实 了 启发 作为 问题 求解 的 关键 要 素 具 有 不 可 蔡 代 的 重要 性 。 
当 人 类 专家 解决 问题 时 ， 他 先 分 析 现 有 的 信息 然后 做 出 决策 。 人 类 专家 用 以 高 效 解决 问题 的 
“经 验 法 则 ”很 大 程度 上 来 说 就 是 启发 式 的 。 如 我 们 在 第 8 章 所 见 ， 专 家 系统 设计 者 的 一 个 主要 
任务 就 是 如 何 抽取 并 形式 化 这 些 启发 。 

可 以 把 启发 式 搜 索 看 作 由 两 方面 组 成 : 启发 度量 ; 及 使 用 这 个 度量 进行 空间 搜索 的 算法 。 在 
4. 1 节 我 们 将 用 有 爬山 和 动态 规划 算法 实现 启发 。 在 4. 2 节 我 们 将 介绍 一 个 最 佳 优 先 搜 索 的 算法 。 
4.3 节 将 介绍 启发 的 设计 和 评估 启发 的 有 效 性 。4. 4 节 将 介绍 博弈 论 中 的 启发 。 

考虑 图 工 -5 中 的 九宫 游戏 的 启发 。 如 果 使 用 穷 举 搜索 ,那么 它 的 组 合 数 尽管 很 高 ， 但 仍 是 
可 控制 的 。 对 于 首次 的 9 种 走 法 ,每 一 种 有 8 种 可 能 反应 ， 这 8 种 中 的 每 一 种 又 有 7 种 后 续 走 
法 ， 依 此 类 推 。 通 过 简单 分 析 可 以 知道 ， 穷 举 搜索 九宫 游戏 要 考虑 的 状态 总 数 是 9 x8 x7 x …， 
即 91!。 

通过 对 称 抵消 可 以 大 大 缩小 这 个 状态 空间 。 只 要 把 棋盘 做 对 称 变换 ， 就 会 发 现 很 多 种 格局 
实际 上 是 等 价 的。 所 以 ， 事实 上 初始 的 走 法 并 非 9 种 ， 而 是 3 种 : 放 到 一 角 、 放 到 一 边 的 中 心 以 
及 放 到 棋盘 的 中 央 。 在 第 二 层 上 的 对 称 抵消 进一步 把 穿越 空间 的 路 径 数 下 降 到 12 x71， 如 图 4-1 
所 示 。 可 以 用 数学 恒等式 来 描述 博弈 空间 中 的 这 种 对 称 性 ， 当 存在 这 样 的 恒等式 时 ， 经 常 可 以 用 
它们 来 大 大 缩小 搜索 范围 。 
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和 尾音 利息 四 四 站 听 首 并 并 间 


丰 本 在 在 森森 森森 厅 丰 林 胡 


图 4-1 经 过 对 称 抵消 后 的 九宫 游戏 状态 空间 的 前 三 层 


不 过 ， 简 单 的 启发 可 以 排除 搜索 空间 的 绝 大 部 分 ， 比 如 我 们 可 以 使 用 这 一 启发 : 移动 到 X 
方 胜利 路 线 最 多 的 状态 在 图 4-2 中 这 种 做 法 衡量 了 九宫 游戏 的 三 个 初始 状态 ) 。 万 一 几 个 状态 
具有 相同 数量 的 可 能 胜利 路 线 ， 那 么 就 取 第 一 个 发 现 的 路 线 。 接 下 来 ， 算 法 只 要 选择 并 移 向 具有 
最 高 启发 值 的 状态 就 可 以 了 。 该 情况 下 X 选择 了 下 在 棋盘 的 中 间 。 注 意 ， 这 样 做 不 仅 排除 了 其 
他 两 种 候选 状态 ， 而 且 还 排除 了 它们 的 所 有 后 继 。 从 图 4-3 可 以 看 出 ， 仅 仅 第 一 次 移动 就 剪除 了 
2/3 的 空间 。 
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顶 角 方 格 有 三 种 中 央 方 格 有 四 种 边 格 有 两 种 
胜利 路 线 胜利 路 线 胜利 路 线 


图 4-2 应 用 到 九宫 游戏 中 前 三 个 状态 的 “最 多 胜利 路 线 ” 启 发 


第 一 次 移动 后 ， 对 手 可 能 选取 另 两 种 移动 中 的 一 种 (如 图 4-3 所 示 ) 。 无 论 选取 了 哪 一 种 移 
动 ， 都 可 以 把 这 个 启发 应 用 到 新 产生 的 状态 ， 也 就 是 再 次 利用 “最 多 胜利 路 线 机 会 ”启发 从 可 
能 移动 中 做 出 选择 。 搜 索 便 这 样 继续 下 去 ， 每 一 次 移动 仅 评估 单一 结 点 的 孩子 ， 不 需要 穷 举 搜 
索 。 图 4-3 显示 了 前 三 步 搜索 后 的 情况 。 图 中 还 标 出 了 各 个 状态 的 启发 值 。 尽 管 难 以 精确 计算 这 
种 用 于 九宫 游戏 的 “最 多 胜利 ”策略 必须 要 分 析 的 状态 数量 ， 但 是 可 以 大 致 计算 出 一 个 上 限 ， 
因为 一 盘 棋 一 个 人 最 多 有 5 次 移动 ， 每 次 有 5 种 选择 。 事 实 上 ， 实际 的 状态 数 要 少 得 多 ， 因 为 棋 
盘 的 填充 减少 了 我 们 的 选择 。 这 个 大 致 的 上 限 〈25 种 状态 ) 相对 91 来 说 改善 了 4 个 数量 级 。 
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图 4-3 九宫 游戏 中 利用 启发 减 小 的 状态 空间 
下 一 节 (4.1 节 ) 将 介绍 实现 启发 式 搜索 的 两 个 算法 : 想 山 和 动态 规划 。4. 2 节 将 介绍 最 佳 
优先 搜索 中 优先 级 队列 的 使 用 。4. 3 节 将 讨论 有 关 启 发 式 搜索 的 一 些 理论 问题 ， 比 如 可 采纳 性 
(admissibility) 和 单调 性 (monotonicity ) 。4. 4 节 将 分 析 如 何 使 用 极 小 极 大 (minimax ) 和 a-B 剪 
枝 把 启发 应 用 到 两 人 博弈 中 。 最 后 一 节 将 分 析 启 发 式 搜索 的 复杂 度 并 再 次 强调 它 在 智能 问题 求 
解 中 的 核心 作用 。 
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4.1 惟 山 法 和 动态 规划 法 


4.1.1 败 出 


实现 启发 式 搜索 的 最 简单 方式 是 采用 一 种 称 为 息 山 (hill-elimbing) 的 过 程 (Pearl 1984) 。 
假山 策略 在 搜索 中 先 扩 展 当前 状态 ， 然 后 再 评估 它 的 孩子 。 而 后 选择 “最 佳 的 ”孩子 做 进一步 
的 扩展 ; 而 且 在 这 个 过 程 中 既 不 保留 它 的 兄弟 姐妹 ， 也 不 保留 它 的 双亲 。 之 所 以 叫 礁 山 策略 是 因 
为 一 个 积极 的 盲人 登山 者 可 能 使 用 这 种 策略 : 沿 尽 可 能 陡峭 的 路 向 上 和 抱 ， 直 到 无 法 继续 向 上 。 因 
为 这 种 策略 不 保存 任何 历史 记录 ， 所 以 它 不 具有 从 失败 中 恢复 的 能 力 。 在 4.0 节 我 们 曾 介 绍 过 九 
宫 游 戏 中 一 个 息 山 的 例子 ， 即 “选择 最 有 可 能 胜利 的 状态 ”。 

息 山 策略 的 一 个 主要 问题 是 容易 陷 和 人 局 部 最 大 值 。 如 果 这 种 策略 到 达 了 一 个 比 其 任何 孩子 
都 好 的 状态 ， 那 么 它 便 停止 。 如 果 这 个 状态 不 是 目标 ， 仅 是 一 个 局 部 最 大 值 ， 那 么 算法 就 无 法 找 
到 最 优 解 。 也 就 是 说 ， 在 某 些 有 限 的 情况 中 其 性 能 可 能 很 好 ， 但 由 于 它 无 法 把 握 整 个 空间 的 形 
状 ， 所 以 它 可 能 永远 不 能 到 达 全 局 最 佳 值 。8 格 拼 图 游戏 中 就 存在 局 部 最 大 值 的 例子 。 很 多 时 
候 ， 为 了 把 某 一 张 牌 移动 到 它 的 目的 地 ， 不 得 不 把 其 他 已 经 在 目标 位 置 的 牌 移 开 。 这 对 完成 拼图 
目标 来 说 是 必须 的 ， 但 这 暂时 性 地 恶化 了 棋盘 状态 。 因 为 从 绝对 角度 来 讲 ，“ 较 好 的 ”未 必 是 
“最 好 的 "， 所 以 没有 回 漳 或 其 他 恢复 机 制 的 搜索 方法 无 法 辨别 局 部 和 全 局 最 大 值 。 

图 4-4 是 陷 人 局 部 最 大 困境 的 一 个 例子 。 假 设 ， 在 搜索 空 ® Start 
间 中 搜索 时 ， 为 找到 最 大 状态 值 ， 我 们 到 达 了 状态 X。 从 X 的 : 
儿子 、 孙 子 和 曾孙 的 值 可 以 看 出 ， 扑 山 方法 甚至 在 使 用 多 层 预 
判 的 情况 下 也 会 搞 错 。 解 决 这 个 问题 的 方法 有 很 多 种 ， 比 如 随 
机 扰动 评估 肾 数 ,但 是 通常 没有 办 法 保证 利用 有 息 山 技术 可 以 得 
到 最 佳 性 能 。Samuel (1959) 的 西洋 跳棋 程序 使 用 了 怜 山 算法 
的 一 种 变 体 。 

Samuel 的 程序 在 当时 (1959 年 ) 是 非凡 的 ， 特 别 是 还 受 
当时 的 计算 机 能 力 的 限制 。Samuel 的 程序 不 仅 为 走 棋 应 用 了 
启发 式 搜索 ， 而 且 用 了 算法 来 优化 有 限 内 存 的 使 用 ， 还 实现 了 
简单 形式 的 学 习 。 实 际 上 ， 这 个 程序 开创 的 许多 技术 至 今 还 用 
在 很 多 博弈 和 机 器 学 习 程序 中 。 

Samuel 的 程序 用 几 个 不 同 启发 尺度 的 带 权 和 来 评估 棋盘 
的 状态 : 


Da 


上 


这 个 和 中 的 x; 代表 一 些 棋盘 特征 ， 比 如 棋子 的 优势 、 棋 子 的 位 置 、 棋 盘 中 心 的 控制 、 牺 牲 棋子 
换取 优势 的 机 会 ， 甚 至 是 〈 一 个 棋 手 的 ) 棋子 关于 棋盘 轴线 的 惯性 力矩 。 这 里 x; 的 系数 是 可 以 
调整 的 权 ， 这 些 权 取 值 的 标准 是 尽 可 能 表现 出 每 个 因素 对 整个 棋局 的 重要 性 。 因 此 ， 如 果 棋 子 的 
优势 比 控制 棋盘 中 心 更 重要 ， 那 么 棋子 优势 的 系数 会 把 这 一 点 反映 出 来 。 

在 博弈 中 ，Samuel 程序 会 预 判 搜索 空间 的 一 定 层 数 (通常 受 计算 机 的 空间 和 时 间 条 件 限 
制 ) ， 并 使 用 评估 多 项 式 来 评估 预 判 层 的 所 有 状态 。 它 利用 极 小 极 大 〈 见 4.3 节 ) 过 程 的 一 种 变 
体 来 向 上 传播 这 些 值 。 然 后 移动 到 下 一 个 最 佳 状态 ; 等 对 手 移动 了 之 后 ， 再 对 新 的 棋盘 状态 重复 
以 上 过 程 。 





图 4-4 使 用 3 层 预 判 的 仆 山 方法 
遇 到 的 局 部 最 大 化 问题 
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如 果 评 估 多 项 式 产生 的 一 系列 移动 都 很 失败 ， 那 么 程序 会 调整 它 的 系数 以 努力 改善 其 性 能 。 
较 大 系数 的 评估 项 对 失败 承担 主要 责任 ， 它 们 的 权 被 减 小 ; 同时 较 小 的 权 被 增 大 以 扩大 这 项 评 
佑 的 影响 。 如 果 程 序 胜利 了 ， 那 么 进行 相反 的 操作 。 可 以 通过 让 这 个 程序 与 人 类 或 与 它 自 己 的 另 
一 个 版 本 对 弈 来 训练 它 。 

Samuel 程序 采用 一 种 胞 山 方法 来 进行 学 习 ， 即 通过 局 部 改进 评估 多 项 式 来 提高 程序 的 性 能 。 
这 样 ， 可 以 使 该 程序 的 性 能 达到 非常 高 的 水 平 。Samuel 通过 检查 各 个 加 权 启 发 尺度 的 有 效 性 来 
分 析 疏 山 搜索 中 的 一 些 局 限 性 ， 并 把 这 些 不 太 有 效 的 特征 蔡 换 掉 。 当 然 ， 这 个 程序 也 还 有 一 些 有 
趣 的 局 限 性 。 比 如 ， 因 为 采用 有 限 的 全 局 策略 ， 所 以 评估 函数 容易 导致 进入 陷阱 ( 即 局 部 最 
优 ) 。 程 序 的 学 习 部 分 也 比较 脆弱 ， 容 易 因 对 手 走 法 的 不 一 致 而 出 错 ; 例如 ， 如 果 对 手 使 用 变化 
非常 大 的 策略 ， 或 者 干脆 采用 思春 的 走 法 ， 那 么 评估 多 项 式 的 权 会 变 得 杂乱 无 章 ， 导 致 性 能 全 面 
退化 。 

4.1.2 动态 规划 


动态 规划 (dynamic programming，DP) 有 时 也 称 为 前 前 后 后 (forward-backward) 算法 ， 当 使 
用 概率 时 称 为 Viterbi ( 书 特 比 ) 算法 。 动 态 规划 由 Richard Bellman (1956) 提出 ,解决 由 多 个 互 
相 影 响 互 相关 联 的 子 问题 构成 的 问题 中 的 受 限 内 存 搜 索 。 动 态 规划 在 大 问题 的 解决 方案 中 不 断 
记录 和 重用 已 被 解决 的 子 问 题 的 解决 方案 。 一 个 例子 是 在 非 波 那 契 (Fibonacci) 数列 中 重用 子 数 
列 。 为 重用 而 采用 子 问题 缓存 的 技术 有 时 称 为 记录 部 分 子 目标 解决 方案 。 动 态 规划 的 成 果 是 一 
个 重要 算法 ， 经 常 在 字符 串 匹 配 、 拼 写 检 查 和 自然 语言 处 理 相 关 领 域 中 使 用 〈 见 9.4 节 和 
14.4 节 )。 

我 们 用 两 个 例子 来 演示 动态 规划 ， 这 两 个 例子 都 来 自 文 本 处 理 。 第 一 个 例子 是 找到 两 个 字 
符 串 的 最 佳 全 局 对 齐 ; 第 二 个 例子 是 找到 两 个 字符 串 间 的 最 小 编辑 差别 。 假 设 我 们 要 找到 字符 
串 BAADDCABDDA 和 BBADCBA 可 能 的 最 佳 对 齐 。 几 种 对 齐 中 的 一 种 选择 可 能 是 ; 


BAADDCABDDA 
BBA DC B A 


动态 规划 需要 一 个 数据 结构 来 跟踪 与 当前 正在 处 理 的 状态 相关 的 子 问 题 。 我 们 用 的 是 数组 。 
因为 初始 化 的 需要 ， 数 组 的 每 一 维 数 的 尺寸 都 比 字符 串 的 长 度 大 1， 在 我 们 的 例子 中 是 12 x 8， 
如 图 4-5。 数 组 中 每 个 行列 相交 处 元 素 的 值 表 示 匹 配 过 程 中 当前 点 的 最 佳 对 齐 。 对 当前 状态 有 三 
种 可 能 的 代价 : 如 果 短 字符 串 中 的 字符 为 了 最 佳 对 齐 被 向 前 移动 ， 那 么 代价 为 1 并 用 数组 的 列 下 
标 值 记录 。 如 果 新 字符 被 插入 ， 那 么 代价 为 1 并 用 数组 的 行 下 标 值 记录 。 如 果 要 对 齐 的 字符 不 
同 ， 那么 移动 并 插入 ,代价 为 2; 如 果 相同 ， 那 么 代价 为 0， 可 以 从 对 角 线 上 看 出 来 。 图 4-5 显 
示 了 初始 状态 ， 第 一 行 和 第 一 列 中 数值 是 加 1 增长 的 ， 表示 对 字符 串 “_”( 空 字符 串 ) 不 断 地 
移动 或 插入 字符 。 

在 动态 规划 算法 的 前 向 阶段 ， 我 们 从 左上 角 开 始 填充 数组 ， 方 法 是 考虑 到 方案 的 当前 点 为 
正成 功 的 部 分 匹配 。 也 就 是 说 ， 第 x 行 和 第 y 列 交点 〈 数 组 中 下 标 为 (x, y) 的 元 素 ) 的 值 是 关于 
x-1I 行 y 列 、x-1 行 y-1 列 或 X 行 y-1 列 三 个 值 之 一 的 一 个 〈 最 小 对 齐 问 题 ， 最 小 代价 ) 函 
数 。 这 三 个 数组 位 置 保存 着 方案 中 到 目前 为 止 的 对 齐 信息 。 如 果 位 置 (x, y) 的 字符 匹配 ， 那 么 将 
位 置 (x -1y -1) 处 的 值 加 0 放 到 位 置 (x, y) ; 如 果 不 匹配 ,那么 加 2 (因为 移动 和 插入 ) 。 我 们 
通过 移动 短 的 字符 串 〈 加 到 y 列 中 上 一 个 值 上 ) 或 插入 一 个 字符 〈 加 到 x 行 中 上 一 个 值 上 ) 来 
加 1。 继 续 这 个 过 程 就 可 以 填充 完整 个 数组 ， 如 图 4-6。 可 以 观察 得 出 ， 最 小 匹配 通常 出 现在 靠 
近 数 组 从 左上 角 到 右 下 角 的 “对 角 线 ” 的 位 置 。 
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一 旦 数组 填充 完 ， 我 们 就 开始 算法 的 后 向 阶段 ， 这 一 阶段 生成 特定 的 解决 方案 。 也 就 是 说 ， 























从 最 佳 可 能 对 齐 开始 ， 从 数组 回头 来 选择 一 个 特定 对 A 
齐 。 我 们 从 最 大 行列 处 的 值 开始 这 个 过 程 ， 在 我 们 的 olfelslelsie ersnon 
例子 中 是 第 7 行 12 列 的 6。 从 该 处 开始 ， 我 们 向 后 穿 Bl 
过 数组 ， 每 一 步 选择 一 个 〈 前 向 阶段 ) ， 生 成 当前 状态 A 

的 直接 前 驱 ， 或 者 是 左上 对 角 ， 或 者 是 上 面 ， 或 者 是 cla 
左面 。 只 要 出 现 数值 减 小 ， 我 们 就 选择 斜 线 上 的 前 驱 ， 有 一 一 一 一 一 








因为 这 是 匹配 前 进 过 来 的 地 方 ， 例 如 ， 回 淹 开 始 附 近 



































的 6 和 5; 否则 我 们 使 用 上 一 行 或 上 一 列 的 值 。 图 4-7 图 4-5 数组 的 初始 阶段 和 第 一 步 (使 用 
中 的 回 湖 过 程 生成 了 前 面 例子 的 一 个 最 佳 字符 串 对 齐 动态 程序 设计 来 进行 字符 对 齐 ) 
( 几 种 可 能 对 齐 之 一 ) 。 Wm 0 A 
在 动态 规划 的 第 二 个 例子 中 ， 我 们 考虑 两 个 串 间 Eagande 
的 最 小 编辑 差别 问题 。 例 如 ， 如 果 我 们 要 建立 一 个 拼 Bl2|1]2 SRRwGDO 
本 检查 器 ， 希 望 能 确定 拼写 正确 的 单 订 集 合 中 哪些 音 人 
词 与 某 个 未 知 字符 串 最 近似 。 类 似 的 方法 可 以 用 来 确 DRPRDRSDE 
定 已 知 单词 (表现 为 语音 串 ) 中 的 哪些 与 某 个 特定 的 SEO 
语音 串 最 紧密 匹配 。 下 面 的 例子 一 一 为 两 个 字符 串 建 Se Cp 
立 编辑 距离 一 一 改编 自 Jurafsky 和 Martin (2009) 。 图 4-6 完成 后 的 数组 ， 反 映 字符 串 
假定 你 输入 了 一 个 无 法 识别 的 字符 串 。 拼 写 检查 的 最 大 对 齐 信息 
器 的 任务 是 产生 一 个 有 序列 表 ， 列 出 在 字典 中 最 相似 的 本 


单词 ， 即 你 本 来 打算 输入 的 单词 。 那 么 问题 是 ， 两 个 字 
符 串 之 间 的 距离 如 何 度量 ， 即 你 刚刚 输入 的 字符 串 和 字 
典 中 的 字符 串 。 对 于 你 的 字符 串 ， 我 们 希望 能 提供 一 个 
字典 中 可 能 正确 单词 的 有 序列 表 。 对 于 字典 里 的 每 个 单 
词 ， 我 们 希望 有 一 个 能 表示 这 个 单词 与 你 输入 的 字符 串 
的 差别 的 数值 度量 。 

两 个 串 间 的 最 小 编辑 差别 可 以 定义 为 将 第 一 个 
( 源 ) 串 变 为 第 二 个 〈 目 标 ) 串 所 必需 的 字符 播 和 人 、 删 | 
除 和 替换 的 数量 。 最 小 编辑 差别 有 时 也 称 为 Levenshtein 距离 (Jurafsky and Martin 2009)。 现 在 ， 
我 们 实现 一 个 动态 规划 搜索 来 确定 两 个 字符 串 之 间 的 最 小 编辑 差别 。 令 intention 作为 源 串 ，ex- 
ecution 作为 目标 串 。 将 第 一 个 串 转化 为 第 二 个 串 的 编辑 代价 为 : 字符 插入 或 删除 为 1， 字符 替换 
为 2〈 一 个 删除 加 上 一 个 插 人 ) 。 我 们 希望 确定 这 两 个 字符 串 之 间 的 最 小 代价 差别 。 

记录 子 目 标的 数组 每 一 维 的 尺寸 还 是 比 每 个 字符 串 的 长 度 大 1， 这 里 是 10 x 10。 初 始 状态 如 
图 4-8 所 示 (从 空 串 开始 ， 必 须要 进行 一 系列 的 插入 才能 使 得 两 个 字符 串 相同 。 数 组 中 (2，2) 
处 为 2， 是 因为 将 i 变 为 e 需要 一 个 替换 (或 者 做 一 个 删除 加 插入 )。 

图 4-9 给 出 了 将 动态 规划 算法 应 用 到 intention 到 execution 的 变换 后 的 完整 结果 。 数 组 中 每 
个 位 置 (x, y) 处 的 值 就 是 到 该 点 为 止 的 最 小 编辑 代价 再 加 上 一 个 插入 、 删 除 或 替换 的 〈 最 小 ) 代 
价 。 这 样 ，(x, y) 处 的 代价 就 是 (x - 1, y) 处 的 最 小 编辑 代价 加 上 一 个 插入 的 代价 ,或 者 是 (x -~ 1， 
y -1) 处 的 代价 加 上 一 个 蔡 换 的 代价 ,或 者 是 (X,Yy -1) 处 的 代价 加 上 一 个 删除 的 代价 。 这 个 算法 
的 伪 代 码 是 一 个 函数 ， 以 两 个 字符 串 (一 个 源 和 一 个 目标 ) 及 其 长 度 为 输入 ， 返回 最 小 编辑 差 
别 代 价 : 


> 四 Op 四 四 | 


图 4-7 完成 后 的 回溯 部 分 给 出 了 一 个 
(多 种 可 能 的 ) 字符 串 对 齐 
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图 4-8 intention 和 execution 间 最 小 图 4-9 完成 后 的 intention 和 execution 间 


编辑 差别 矩阵 的 初始 状态 最 小 编辑 差别 矩阵 . 
(改编 自 Jurafsky 和 Martin 2000) (改编 自 Jurafsky 和 Martin 2000) 


function dynamic (source, sl, target, th return cost (i, )); 


create array cost(sl + 1, tl + 1) 
cost (0,0) := 0 % initialize 
fori:=1tosl+1do 

forj:=1totl+1do 


cost (i, j) := min [ cost (i — 1, j) + insertion cost target; , % add 1 
cost (i— 1, j ~ 1) + replace cost source; 1 target,: % add 2 
cost(i, j ~ 1) + delete cost source; ,] % add 1 
用 图 4-9 中 的 结果 (加 粗 表 示 ) ， 下 面 的 编辑 将 把 intention 变 为 execution ， 全 部 编辑 代价 为 8: 
intention 
ntention delete i, cost 1 
etention replace n with e, cost 2 
exention replace t with x, cost 2 
exenution insert U, cost 1 
execution replace n with c, cost 2 


在 拼写 检查 中 ， 只 需要 提供 一 个 替换 无 法 识别 单词 的 基于 代价 的 有 序 单词 列表 即 可 ， 不 需 
要 动态 规划 算法 的 回 湖 过 程 。 一 旦 为 相关 字符 串 集合 中 的 每 个 单词 计算 出 最 小 编辑 度量 ， 就 能 
够 提供 一 组 有 先后 顺序 的 选择 ， 用 户 可 以 从 中 选择 一 个 正确 的 字符 串 。 

之 所 以 使 用 动态 规划 是 考虑 到 计算 中 时 间 / 空 间 的 代价 。 如 我 们 的 两 个 例子 中 所 见 ， 动 态 规 
划 的 代价 为 n*， 其 中 是 最 长 字符 串 的 长 度 。 最 坏 的 情况 下 是 mn ， 即 需要 考虑 其 他 相关 子 问题 
(其 他 行 / 列 的 值 ) 来 确定 当前 状态 。 比 较 两 个 字符 串 的 穷 举 搜索 是 指数 级 的 ， 代 价 在 2 和 3 "之 间 。 

有 许多 明显 的 启发 可 以 用 来 剪除 动态 规划 中 的 搜索 。 首 先 ， 有 用 的 答案 通常 会 位 于 数组 中 左上 
到 右 下 的 对 角 线 周围 ; 这 样 可 以 不 用 计算 数组 的 两 极 。 其 次 ， 在 数组 构造 的 过 程 中 可 以 剪除 搜索 ， 
例如 ， 对 编辑 距离 可 以 传人 一 个 特定 团 值 ， 剪 掉 该 解 路 径 甚至 放弃 整个 问题 ， 意 思 就 是 ， 源 串 与 目 
标 串 的 距离 太 远 了 ， 以 至 于 没有 用 了 。 在 5.3 节 我 们 还 将 介绍 一 种 随机 方法 ,来 解决 模式 比较 
问题 。 


4.2 最 佳 优先 搜索 算法 


4.2.1 实现 最 佳 优 先 搜索 
尽管 形式 如 同 回 湖 、 疏 山 策略 和 动态 规划 的 算法 具有 其 局 限 性 ， 但 是 如 果 评 估 函 数 有 足够 
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广博 的 知识 信息 量 可 以 避免 搜索 空间 中 的 局 部 最 大 值 、 死 端 和 有 关 异 常 的 话 ， 那 么 它们 还 是 非 
常 有 效 的 策略 。 然 而 ， 通 常 使 用 启发 式 搜索 需要 一 种 更 灵活 的 算法 : 最 佳 优先 搜索 ( best-firet 
search) 提供 了 这 种 灵活 性 ， 这 一 搜索 使 用 了 一 个 优先 级 队列 ， 这 使 得 从 诸如 陷入 局 部 最 优等 情 
况 中 恢复 成 为 可 能 。 

和 第 3 章 中 介绍 的 深度 优先 搜索 和 宽度 优先 搜索 一 样 ， 最 佳 优先 搜索 也 使 用 列表 来 维护 状 
态 : 用 open 列表 来 记录 搜索 的 当前 搜索 带 ; 用 closed 列表 记录 已 经 访问 过 的 状态 。 在 这 种 算法 
中 新 加 的 一 步 是 对 open 中 的 状态 进行 排序 ， 排 序 的 依据 是 对 状态 与 目标 “接近 程度 ”的 某 种 启 
发 性 估计 。 因 此 ， 每 一 轮 循环 都 是 考虑 open 列表 中 最 “有 希望 的 ”状态 。 最 佳 优先 搜索 算法 的 
伪 代 码 如 下 : 


function best_first_search; 


begin 
open := [Start]; % initialize 
closed := [ ]; 
While open *[] do % states remain 
begin 
remove the leftmost state from open, call it X; 
if X = goal then return the path from Start to X 
else begin 
generate children of X; 
for each child of X do 
case 
the child is not on open or closed: 
begin 
assign the child a heuristic value; 
add the child to open 
end; 
the child is already on open: 
if the child was reached by a shorter path 
then give the state on open the shorter path 
the child is already on closed: 
if the child was reached by a shorter path then 
begin 
remove the state from closed; 
add the child to open 
end; 
end; % case 
put X on closed:; 
re-order states on open by heuristic merit (best leftmost) 
end; 
return FAIL % open is empty 
end. 


在 每 一 次 迭代 中 ，best-first-search 删除 open 列表 中 的 第 一 个 元 素 。 如 果 这 个 元 素 满足 了 目 
标 条 件 ， 那 么 算法 便 返 回 产生 这 个 目标 的 解 路 径 。 注 意 : 每 一 个 状态 都 保存 了 祖先 信息 ， 这 样 做 
有 两 个 目的 ， 一 是 可 以 判断 以 前 是 否 曾 以 更 短 的 路 径 到 达 过 这 个 状态 ， 二 是 算法 利用 这 些 信息 
来 返回 最 终 的 解 路 径 ( 见 3.2.3 节 )。 

如 果 open 列表 中 的 第 一 个 元 素 不 是 目标 ， 那 么 算法 应 用 所 有 匹配 的 产生 规则 或 操作 符 来 产生 
这 个 元 素 的 后 继 。 如 果 和 孩子 状态 不 在 open 或 closed 中 ，best-first-search 评估 open 中 状态 的 启发 
性 ， 并 根据 这 些 状 态 的 启发 值 对 它们 进行 排序 。 这 样 就 把 “最 佳 ”状态 排 在 了 open 列表 的 最 前 
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面 。 注 意 : 因为 这 些 估计 实质 上 是 启发 式 的 ， 所 以 要 分 析 的 下 一 个 “最 佳 ” 状态 可 能 来 自 状 态 空间 
的 任 一 个 层次 。 当 把 open 维护 为 一 个 有 序列 表 时 ， 经 常 把 它 称 为 优先 级 队列 (priority queue) 。 

如 果 孩 子 状 态 已 经 在 open 或 closed 中 ， 那 么 算法 检查 对 应 的 部 分 解 路 径 以 确保 这 个 状态 记 
录 的 是 较 短 的 路 径 。 重 复 状 态 是 不 会 被 保留 的 。 当 再 次 发 现 结 点 状态 时 ， 通 过 更 新 open 和 
closed 中 结 点 的 祖先 历史 信息 ， 算法 更 有 可 能 找到 到 达 目 标的 更 短路 径 (在 所 考虑 的 状态 内 ) 。 

图 4-10 显示 了 一 个 假想 的 状态 空间 ， 其 中 的 一 些 状态 附加 了 启发 式 评估 值 。 这 些 被 附加 了 
评估 值 的 状态 是 在 best-first-search 中 确实 产生 的 状态 。 由 启发 式 搜索 算法 所 展开 的 状态 是 用 粗 
体 表示 的 ; 注意 算法 并 没有 搜索 整个 空间 。 最 佳 优先 搜索 的 目标 是 考虑 尽 可 能 少 的 状态 ; 使 用 的 
启发 越 广博 ( 见 4.2.3 节 ) ， 为 了 找到 目标 而 处 理 的 状态 数 就 越 少 。 

下 面 给 出 了 对 这 幅 图 执行 best-first-search 的 跟踪 结果 。 假 定 P 是 图 4-10 所 示 的 图 的 目标 状 
态 。 因 为 P 是 目标 ， 所 以 通 往 P 路 径 上 的 状态 的 启发 值 往往 较 低 。 启 发 难免 会 存在 错误 : 状态 
〇 比 目 标本 身 的 启发 值 更 低 ， 因 此 它 被 先 分 析 。 与 假山 策略 不 同 ， 息 山 策略 不 维护 用 来 选取 
“下 一 个 ”状态 的 优先 队列 ， 所 以 无 法 从 错误 中 恢复 ， 而 这 种 算法 可 以 从 这 个 错误 中 恢复 并 找到 
正确 解 。 

1) open =[A5]; closed = [ ] 

2) 评估 AS; open =[B4, C4, D6]; closed = [ A5] 

3) 评估 B4; open = [C4, E5, F5, D6] ; closed =[B4, A5] 

4) 评估 C4; open = [ H3, G4, E5, F5, D6] ; closed = [C4, B4, AS] 

5) 评估 H3; open =[O2, P3, G4, E5, F5, D6] ; closed = [ H3, C4, B4， A5] 

6) 评估 O2; open =[ P3, G4, E5, F5, D6] ; closed = [ O2, H3, C4, B4, A5] 

7) 评估 P3; 解 找 到 了 ! 

图 4-11 显示 了 while 循环 5 次 后 的 状态 空间 。 图 中 表示 出 了 open 和 closed 中 所 包含 的 状 
态 。open 中 记录 了 搜索 的 当前 前 线 ，closed 中 记录 了 已 经 考虑 过 的 状态 。 注 意 : 搜索 前 线 是 非 
常 不 均衡 的 ， 这 反映 了 最 佳 优先 搜索 的 机 会 性 。 
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图 4-10 对 一 个 假想 状态 空间 的 启发 式 搜索 图 4-11 对 一 个 假想 状态 空间 的 启发 式 搜索 


注 : 图 中 突出 表示 了 open 和 closed 列表 中 的 状态 
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最 佳 优先 搜索 算法 总 是 选择 open 中 最 有 希望 的 状态 做 进一步 的 扩展 。 然 而 ， 由 于 它 正 在 使 
用 的 启发 可 能 被 证 明 是 错误 的 ， 所 以 它 并 不 抛弃 所 有 其 他 状态 而 是 把 它们 维护 在 open 中 。 一旦 
发 现 启发 将 搜索 引导 到 一 条 证 明 不 正确 的 路 径 ， 那 么 算法 会 从 open 中 取出 一 些 以 前 产生 的 “次 
最 优 ” 状态 ， 从 而 把 搜索 的 焦点 转移 到 空间 的 另 一 部 分 。 在 图 4-10 的 例子 中 ， 在 发 现 了 状态 8 
的 孩子 的 启发 值 都 很 差 时 ， 搜 索 的 焦点 转移 到 状态 C。 状 态 B 的 孩子 被 保留 在 open 中 以 防止 算 
法 以 后 需要 返回 到 它们 。 在 best-first-search 中 ，open 列表 允许 从 无 法 产生 目标 的 路 径 中 回溯 ， 
这 一 点 与 第 3 章 中 的 算法 相同 。 


4.2.2 实现 启发 评估 函数 


现在 我 们 评估 几 种 不 同 的 求解 8 格 拼图 游戏 问题 的 启发 。 图 4-12 显示 了 8 格 拼图 游戏 的 起 
始 状态 和 目标 状态 ， 以 及 搜索 中 产生 的 前 三 个 状态 。 


起 始 状态 





[7161 5 


目标 状态 
图 4-12 8 格 拼图 游戏 实例 的 起 始 状态 、 首 次 移动 集合 和 目标 状态 


最 简单 的 启发 是 数 出 每 个 状态 与 目标 状态 相 比 错位 的 牌 数 。 根 据 直觉 这 种 方法 是 令 人 感 兴 
趣 的 ， 因 为 它 似 乎 意味 着 如 果 其 他 条 件 相同 ， 那 么 错位 牌 数 最 少 的 状态 可 能 最 接近 预期 目标 ， 所 
以 它 是 接 下 来 要 分 析 的 最 佳 状态 。 

然而 ， 这 个 启发 没有 使 用 从 棋盘 格局 中 可 以 得 到 的 所 有 信息 ， 因 为 它 没有 把 牌 必须 要 移动 
的 距离 纳入 考虑 。 一 个 “更 好 一 点 ”的 启发 是 对 错位 的 牌 必须 要 移动 的 距离 求 和 ， 为 了 到 达 目 
标 位 置 ， 每 张 牌 必须 要 移动 的 每 个 方 格 算 为 1 个 上 距 离 单位 。 

这 两 种 启发 都 存在 一 种 不 足 ， 就 是 没有 认识 到 苏 
侧 牌 的 难度 。 也 就 是 说 ， 如 果 两 张 牌 是 彼此 相 邻 的 ， Bue og , 

而 且 目 标 是 要 求 互相 颠倒 它们 的 位 置 ， 那 么 要 把 它们 加 闻 乞 Ts 
放 到 适当 的 位 置 需要 远 不 止 两 次 的 移动 ， 因 为 这 些 牌 
必须 彼此 间 “ 绕 来 绕 去 ”( 见 图 4-13) 。 

一 种 把 这 个 问题 纳 和 人 考虑 的 启发 对 每 个 直接 颠倒 图 4-13 8 格 拼图 游戏 的 目标 状态 和 一 个 存 
(两 张 相 邻 的 牌 要 满足 目标 顺序 必须 交换 位 置 ) 乘 以 在 颠倒 的 状态 (1 和 2, 5 和 6) 
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一 个 小 的 数 〈 比 如 2) 。 图 4-14 显示 了 对 图 4-12 中 的 三 个 孩子 状态 应 用 这 三 种 启发 的 结果 。 








错位 牌 数 





图 4-14 应 用 于 8 格 拼图 游戏 的 三 种 启发 


从 图 4-14 中 对 评估 函数 的 归纳 来 看 , “距离 和 ”启发 确实 看 起 来 比 简单 的 错位 计数 估计 
得 更 加 精确 。 还 有 ， 牌 颠倒 启发 无 法 区 分 图 4-12 中 的 三 个 状态 ， 对 每 个 状态 的 评估 都 是 0。 
尽管 根据 直觉 它 是 一 种 吸引 人 的 启发 , 但 是 它 失败 了 ， 因 为 这 三 种 状态 中 没有 一 种 存在 直接 
颠倒 。 第 四 种 启发 是 把 错位 牌 的 距离 和 与 直接 其 倒数 的 二 倍 相 加 ， 这 样 就 克服 了 单纯 颠倒 启 
发 的 不 足 。 

这 个 例子 说 明了 设计 好 启发 的 难度 。 我 们 的 目的 是 使 用 从 单一 状态 描述 符 中 可 以 得 到 的 有 
限 信 息 来 做 出 智能 的 抉择 。 上 面 提 出 的 每 一 种 启发 都 因 忽 视 了 一 些 关键 信息 而 有 待 改善 。 要 设 
计 出 好 的 启发 离 不 开 丰 富 的 经 验 ; 判断 和 直觉 是 有 帮助 的 ， 但 衡量 启发 好 坏 的 最 终 尺度 是 问题 
实例 的 实际 性 能 。 

如 果 两 个 状态 具有 相同 的 或 接近 相同 的 启发 值 ， 那 么 通常 优先 分 析 最 靠近 图 中 根 结 点 的 
状态 。 这 个 状态 更 有 可 能 位 于 通 往 目 标的 最 短路 径 上 。 可 以 通过 维护 每 个 状态 的 深度 计数 来 
衡量 从 起 始 状态 到 其 后 继 的 距离 。 对 起 始 状 态 来 说 ， 这 个 计数 是 0， 搜 索 每 深入 一 层 便 递增 
1。 如 果 希 望 搜索 优先 考虑 图 中 的 较 浅 层 状 态 ， 那 么 可 以 把 这 个 值 加 入 到 每 个 状态 的 启发 
值 中 。 

这 构成 了 一 个 评估 函数 f， 它 是 两 个 分 量 的 和 : 

f(n) =g(n) + h(n) 

其 中 : 9g(n) 是 从 任意 状态 n 到 起 始 状态 的 实际 路 径 长 度 ，h(n) 是 对 状态 n 到 目标 的 距离 的 启发 
性 估计 。 , 

例如 ， 在 8 格 拼图 游戏 中 ,我们 可 以 用 h(n) 表示 错位 的 牌 数 。 当 把 这 个 评估 函数 应 用 到 图 
4-12 中 的 三 个 孩子 状态 时 ， 它 们 的 f 值 分 别 是 6、4 和 6， 如 图 4-15 所 示 。 

图 4-16 给 出 了 使 用 上 面 定义 的 启发 {对 8 格 拼图 游戏 图 进行 最 佳 优先 搜索 的 全 过 程 。 图 中 用 
字母 标 出 了 每 个 状态 以 及 它 的 启发 权 f(n) =g(n) + h(n) 。 每 个 状态 上 面 的 数字 指出 了 它 被 从 
open 列表 中 取出 的 顺序 。 有 些 状态 (h、g、.b、d.n、k 和 站 没有 这 样 编号 ， 这 是 因为 算法 终止 时 它们 
还 在 open 列表 中 。 

下 面 给 出 了 产生 这 个 图 的 各 个 阶段 open 和 closed 列表 中 的 状态 : 
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起 始 状态 
gm =0 
gm = 
每 个 状态 的 ftn) 值 ， 6 4 6 


其 中 : 
fn) = gm) + h(n), 


gtn) = 从 n 到 起 始 状态 
”” “的 实际 距离 | 11 2]3| 
h(n) = 错位 的 牌 数 四 
[7|6|5| 
目标 状态 


图 4-15 ”把 启发 f 应 用 到 8 格 拼图 游戏 中 的 三 个 状态 
1 


— 


open =[a4]; 
closed =[ ] 
2) open =[c4,b6, d6] ; 
closed = [a4] 
open =[e5, 15, b6, d6, g6] ， 
closed = [a4, c4] 
open =[15, h6, b6, d6, 96, 7] ; 
closed = [a4, c4, e5] 
open =[j5, h6, b6, d6, g6, K7, 17]; 
closed = [a4, ¢4, e5,15 ] 
open =[15, h6, b6, d6, g6, K7, i]; 
closed =[a4, c4, e5,15, js ] 
open =[ m5, h6, b6, d6, g6,n7, K7, i7]; 
closed = [a4, c4, e5,15,j5, 15] 
8) m= 目标 ,成 功 了 ! 
在 第 3 步 中 ，e 和 上 的 启发 值 都 为 5。 先 分 析 了 状态 e， 产 生 孩 子 h 和 is 尽管 h〈《e 的 孩子 ) 
和 ff 的 错位 牌 数 相同 ， 但 是 它 在 空间 中 的 深度 较 大 。 深 度 尺度 9(n) 导致 算法 在 第 4 步 中 选取 1 作 
为 评估 对 象 。 这 样 ， 算 法 返回 到 较 浅 的 状态 继续 搜索 目标 。 这 一 阶段 搜索 的 状态 空间 图 显示 在 
图 4-17 中 ,图 中 突出 显示 了 open 和 closed 列表 中 的 状态 。 注 意 观察 最 佳 优先 搜索 算法 的 机 
会 性 。 
实际 上 ， 评 估 函 数 的 g(n) 分 量 使 这 种 搜索 带 有 更 多 的 宽度 优先 性 。 这 防止 了 搜索 被 错误 的 
评估 所 误导 ， 如果 启 发 对 一 条 无 法 到 达 目 标的 路 径 上 的 状态 连续 给 出 “好 的 ”评估 ,那么 9 什 


3 


— 


4 


— 


5 


— 


6 


— 


7 


— 
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会 上 升 来 控制 h， 从 而 强迫 搜索 返回 到 一 条 较 短 的 解 路 径 。 这 保证 了 算法 不 会 永久 迷失 ， 沿 无 限 
的 错误 路 径 一 直下 去 。4.3 节 分 析 了 在 什么 条 件 下 利用 这 一 评估 函数 的 最 佳 优先 搜索 算法 可 以 保 
证 产生 到 达 目 标的 最 短路 径 。 





状态 a gm) =0 
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图 4-16 对 8 格 拼图 游戏 进行 启发 式 搜索 而 产生 的 状态 空间 


归纳 起 来 ， 最 佳 优先 搜索 算法 就 是 ; 

1) 操作 当前 状态 以 产生 新 的 孩子 。 

2) 检查 每 个 新 的 状态 ， 看 其 是 否 已 经 (在 open 或 closed 中 ) 出 现 过 ， 以 防止 循环 。 

3) 给 出 每 个 状态 n 的 f 值 ， 这 个 值 等 于 该 状态 在 搜索 空间 中 的 深度 g(n) 和 它 与 目标 距离 的 
启发 性 估计 h(n) 的 和 。h 值 把 搜索 引 向 更 有 希望 的 状态 ， 而 9 值 防止 搜索 沿 无 用 的 路 径 无 限 跑 
下 去 。 

4) open 中 的 状态 是 按 它 们 的 f 值 排序 的 。 在 分 析 了 所 有 状态 或 发 现 目标 之 前 ， 所 有 的 状态 
都 被 保存 在 open 中 ， 这 样 做 使 算法 可 以 从 死 端 (dead end) 恢复。 : 

5) 从 实现 的 角度 来 看 ， 可 以 通过 改善 维护 open 和 closed 列表 的 方法 来 提高 算法 的 效率 ， 
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比如 可 以 把 它们 维护 为 堆 (heap) 或 左 搬 子 树 (leftist tree) 。 









closed 列 表 





open 列 表 目标 
图 4-17 对 8 格 拼 图 游戏 进行 启发 式 搜索 第 三 次 迭代 后 的 情况 


最 佳 优 先 搜索 是 一 种 启发 式 搜索 任何 状态 空间 的 通用 算法 (这 一 点 与 前 面 给 出 的 宽度 优先 
算法 和 深度 优先 算法 相同 ) 。 它 既 适 用 于 数据 驱动 搜索 ， 也 适用 于 目标 驱动 搜索 ， 而 且 支 持 不 同 
的 启发 评估 函数 。 它 也 是 分 析 启发 式 搜索 特性 的 基础 ( 见 4.3 节 )。 由 于 它 具有 很 好 的 通用 性 ， 
因此 可 以 把 它 和 很 多 种 不 同 的 启发 方法 一 起 使 用 ， 从 对 状态 的 “优秀 程度 ”的 客观 估计 ， 到 基 
于 概率 〈 状 态 产 生 目 标的 概率 ) 的 复杂 度量 。 贝 叶 斯 统计 度量 〈 见 第 5 章 和 第 9 章 ) 是 概率 方 
法 的 一 个 重要 实例 。 

实现 启发 的 另 一 种 有 趣 途径 是 专家 系统 中 所 使 用 的 用 置信 上 度 来 衡量 规则 结果 。 人 类 专家 采 
用 启发 时 ， 他 们 通常 可 以 估计 出 他 们 所 得 结论 的 可 信和 度 。 专 家 系统 采用 置信 和 度 (confidence meas- 
ure) 来 选取 具有 最 大 成 功 可 能 性 的 结论 。 置 信和 度 特 别 低 的 状态 可 能 被 完全 排除 。 下 一 节 将 分 析 
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使 用 这 一 方法 的 启发 式 搜 索 。 
4.2.3 启发 式 搜 索 和 专家 系统 


像 8 格 拼图 游戏 这 样 的 简单 博弈 问题 是 用 于 探索 启发 式 搜索 算法 的 设计 和 行为 的 理想 工具 ， 
原因 有 以 下 几 点 : 

1) 搜索 空间 很 大 ， 足 以 需要 启发 式 剪 枝 。 

2) 大 多 数 博弈 问题 都 足够 复杂 ， 荀 涵 了 丰富 多 样 的 启发 评估 方法 用 于 分 析 和 比较 。 

3) 博弈 通常 不 涉及 复杂 的 表示 问题 。 状 态 空间 的 一 个 结 点 就 是 一 种 棋盘 描述 ， 而 且 通 常用 
一 种 直截了当 的 方式 就 可 以 表示 出 来 。 这 使 研究 者 可 以 把 注意 力 集 中 在 启发 行为 上 ， 而 不 是 集 
中 在 知识 表示 问题 上 。 

4) 因为 状态 空间 的 每 个 结 点 都 有 共同 的 表示 (也 就 是 棋盘 描述 )， 所 以 可 以 把 一 种 简单 的 
启发 应 用 到 整个 搜索 空间 。 这 与 财务 顾问 这 样 的 系统 形成 了 对 比 ， 对 后 者 来 说 ， 每 个 结 点 表示 了 
具有 各 自 相 异 描述 的 不 同 子 目标 。 

在 更 现实 一 些 的 问题 中 , 启发 式 搜索 的 分 析 和 实现 会 复杂 很 多 ， 这 是 因为 可 能 需要 多 个 启 
发 来 处 理 问 题 空 间 中 的 不 同情 况 。 然 而 ， 从 简单 博弈 中 得 到 的 经 验 可 以 推广 到 其 他 问题 ， 比 如 专 
家 系统 、 规 划 、 智 能 控制 和 机 器 学 习 。 但 这 些 领域 的 情况 与 8 格 拼图 游戏 不 同 ， 不 能 把 一 个 启发 
应 用 到 所 有 状态 上 。 相 反 ， 针 对 特定 条 件 的 问题 求解 启发 是 按 各 个 问题 求解 操作 符 的 语法 和 内 
容 编码 的 。 每 个 求解 步骤 与 它 自己 的 启发 相配 合 ， 决 定 何 时 该 应 用 它 ; 模式 匹配 程序 把 适当 的 操 
作 ( 启 发 ) 与 空间 中 的 有 关 状 态 匹 配 起 来 。 


例 4. 2.1 再 谈 财务 顾问 问题 

使 用 启发 度量 来 引导 搜索 是 AI 中 的 一 种 常见 方法 。 下 面 再 次 考虑 第 2、3 章 的 财务 顾问 问 
题 。 在 这 个 问题 中 ， 知 识 库 是 由 一 系列 逻辑 蕴涵 (其 结论 要 么 是 真 要 人 么 是 假 ) 组 成 的 。 例 如 ， 
下 面 的 规则 指出 一 个 有 充足 存款 和 收入 的 投资 个 体 应 该 投资 股票 : 


savings_account( adequate) 人 income(adequate) 一 investment( stocks) 


实际 中 ， 这 样 的 投资 个 体 有 可 能 更 喜欢 更 加 安全 的 组 合 策略 或 者 甚至 倾向 于 把 所 有 投资 款 
都 存 人 银行 。 因 此 ， 这 个 规则 是 一 个 启发 ， 问 题 求解 器 应 该 尽 可 能 考虑 这 种 不 确定 性 。 我 们 可 以 
考虑 其 他 的 附加 因素 ， 比 如 这 个 投资 者 的 年 龄 和 投资 者 的 职务 晋升 和 风险 等 长 期 因素 。 这 样 可 
以 使 规则 具有 更 高 的 信息 度 ， 从 而 可 以 更 好 地 区 别 不 同情 况 。 不 过 ， 这 并 没有 改变 理财 建议 的 基 
本 启发 特征 。 

专家 系统 处 理 这 一 问题 的 方法 是 给 每 个 规则 的 结论 附加 一 个 数字 类 型 的 权 〈 称 为 置信 度 或 
确信 度 (certainty factor) ) 。 这 个 指标 衡量 了 这 些 结论 所 具有 的 可 信 程 度 。 

这 样 ， 就 可 以 给 每 个 规则 的 结论 赋予 一 个 置信 和 度 ， 也 就 是 一 个 在 -1 和 1 之 间 的 实数 ，! 对 
应 于 一 定 〈 真 ); -1 对 应 于 一 个 明确 的 假 值 。 介 于 这 两 者 间 的 值 反 映 了 对 结论 的 不 同 置信 度 。 
例如 ， 可 以 给 前 面 的 规则 赋予 一 个 置信 和 度 ， 比 如 说 0.8， 那 么 这 反映 了 这 个 规则 不 正确 的 可 能 性 
很 小 。 类 似 地 ， 可 以 为 得 出 的 其 他 结论 赋予 不 同 的 信心 权 值 : 

savings_account( adequate) A income( adequate) 一 investment( stocks) 置信 度 =0.8 

savings_account( adequate) A income( adequate) 一 investment(combination) 置信 度 =0.5 

savings_account( adequate) A income( adequate) 二 investment(savings) 置信 度 =0. 1 


这 些 规则 反映 了 尽管 是 对 同样 有 充足 存款 和 收入 的 投资 个 体 ， 通常 也 会 有 几 种 建议 ,最 强 
烈 推荐 的 做 法 是 投资 股票 ， 其 次 是 如 果 有 可 能 应 该 采取 组 合 策略 并 找 机 会 继续 投资 存款 。 启 发 


舌 4 苹 司 竹 式 规 圭 101 





式 搜索 算法 可 以 以 多 种 方式 使 用 这 些 确信 和 度 。 例 如 ， 所 有 可 应 用 规则 的 结果 可 以 与 这 些 结果 相 
关联 的 置信 度 一 并 产生 。 这 种 对 所 有 可 能 性 的 穷 举 式 搜索 可 能 适合 于 类 似 医 疗 这 样 的 领域 。 另 
一 种 做 法 是 ， 如 果 对 其 他 解 不 感 兴趣 ， 那么 程序 可 以 仅 返回 具有 最 大 置信 度 的 结果 。 这 样 可 以 使 
程序 忽略 其 他 的 规则 ， 彻 底 剪 除 其 对 应 的 搜索 空间 。 更 稳妥 的 剪 枝 策略 是 设 定 一 个 特定 值 ( 比 
如 0.2) ， 如 果 一 个 规则 结论 的 置信 度 小 于 这 个 值 ， 那 么 就 忽略 这 个 规则 。 

在 使 用 置信 和 度 来 衡量 规则 的 结论 时 必须 注意 很 多 重要 的 问题 。 例 如 ， 确 定 一 个 “数字 类 型 
的 置信 和 度 ” 的 实质 目的 是 什么 ?如 果 一 个 规则 的 结论 要 用 做 男 一 个 规则 的 前 提 ， 那 么 该 如 何 处 
理 置 信和 度 ? 当 从 多 个 规则 得 出 同一 结论 时 该 如 何 合并 置信 和 度 ? 如 何 给 规则 赋予 合适 的 置信 度 ? 第 
8 章 将 更 详细 地 讨论 这 些 问 题 。 


4. 3 可 采纳 性 、 单 调 性 和 信息 度 


我 们 可 以 使 用 很 多 度量 来 评估 一 个 启发 的 好 坏 。 例 如 ， 我 们 可 能 希望 得 到 解 而 且 需 要 算法 
找到 到 达 目 标的 最 短路 径 。 当 一 个 应 用 需要 为 多 余 的 解 步 又 付出 额外 开销 时 (比如 为 机 器 人 规 
划一 条 穿越 危险 环境 的 路 径 ) ， 最 短路 径 解 是 很 重要 的 。 如 果 只 要 存在 到 达 一 个 目标 的 最 短路 
径 ， 启 发 就 可 以 找到 这 条 最 短路 径 ， 那 么 就 可 以 说 这 些 启发 是 可 采纳 的 。 在 其 他 一 些 应 用 中 ， 解 
路 径 是 否 最 短 可 能 没有 总 体 的 问题 求解 效率 重要 ( 见 图 4-28 ) 。 

我 们 可 能 想 知道 是 否 还 有 更 好 的 启发 。 从 什么 意义 上 来 说 一 个 启发 好 于 另 一 个 启发 ? 这 就 
是 启发 的 信息 度 (informedness)。 

当 启 发 式 搜 索 发 现 了 一 个 状态 时 ， 是 否 有 什么 可 以 保证 继续 搜索 也 不 会 以 一 个 更 低廉 的 开 
销 ( 从 起 始 状 态 经 过 一 条 更 短 的 路 径 ) 到 达 同 样 状 态 ? 这 就 是 单调 性 (monotonicity ) 。 对 这 些 问 
题 的 回答 以 及 与 启发 的 有 效 性 相关 的 其 他 问题 就 是 本 节 要 讨论 的 内 容 。 


4. 3.1 可 采纳 性 度量 


如 果 只 要 存在 到 达 目 标 解 的 最 短路 径 ， 搜 索 算法 就 可 找到 这 样 的 路 径 ， 那 么 这 个 算法 就 是 
可 采纳 的 。 宽 度 优先 搜索 是 一 种 可 采纳 的 搜索 策略 。 因 为 它 总 是 在 考虑 图 的 第 n+1 层 的 任何 状 
态 之 前 观察 第 n 层 的 所 有 状态 。 不 幸 的 是 ， 宽 度 优先 搜索 对 实践 应 用 来 说 效率 太 低 。 

下 面 ， 我 们 利用 上 一 节 介 绍 的 评估 函数 fn) =g(n) + h(n) 来 刻画 一 类 具有 可 采纳 性 的 启发 
式 搜索 策略 。 如 果 n 是 状态 空间 图 中 的 一 个 结 点 ,那么 g(n) 度量 了 这 个 已 发 现状 态 在 路 径 上 的 
深度 ; 而 h(m) 是 对 mn 到 目标 的 距离 的 启发 式 估计 。 从 这 个 意义 上 来 讲 ，f(n) 估计 了 从 起 始 状 态 
经 过 n 到 达 目 标 状态 的 总 代价 。 为 了 确定 可 采纳 启发 的 特征 ， 我 们 定义 一 个 评估 函数 人 : 


全 (nm =g (n+ h’(n) 


其 中 : g* (n) 是 从 起 始 结 点 到 结 点 n 的 最 短路 径 的 代价 ，h"* 是 从 n 到 目标 的 最 短路 径 的 实际 代 
价 。 这 样 f*(n) 就 是 从 起 始 结 点 经 过 结 点 n 到 达 目 标的 最 优 路 径 的 实际 代价 。 

可 以 证 明 ， 当 把 这 个 评估 函数 应 用 到 best-first-search 时 ， 产 生 的 搜索 策略 是 可 采纳 的 。 尽 
管 像 f* 这 样 的 神 论 (oracles) 在 现实 问题 中 是 不 存在 的 ， 但 是 我 们 希望 评估 函数 1 是 对 f° 的 一 种 
非常 接近 的 估计 。 在 A 算法 中 ， 到 状态 n 的 当前 路 径 的 代价 g(n) 是 对 g "的 一 个 合理 估计 ， 但 它 
们 可 能 不 相等 ， g(n) >g' (n) 。 只 有 当 已 经 发 现 了 到 状态 n 的 最 优 路 径 时 这 两 者 才 是 相等 的 。 

类 似 地 ， 我 们 用 对 到 目标 状态 的 最 小 代价 的 启发 式 估计 h(n) 代替 h(n) 。 尽 管 我 们 通常 不 
可 能 求 出 h* ， 但 很 多 时 候 有 可 能 判断 出 启发 式 估计 h(n) 是 否 是 以 h*(n) 为 上 限 ， 即 h(n) 总 是 小 
于 等 于 最 短路 径 的 实际 代价 。 如 果 A 算法 使 用 的 评估 函数 1 满足 h(n) <h* (n) ， 那 么 就 把 它 称 为 
A' 算法 。 . 
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定义 (A 算法 、 可 采纳 性 、A' 算法 ) 考虑 评估 函数 fn) =g(n) + h(n) ， 其 中 ， 

n 是 搜索 中 遇 到 的 任意 状态 。 

g(m) 是 从 起 始 状态 到 的 代价 。 

h(n) 是 对 n 到 目标 状态 代价 的 启发 式 估 计 。 

如 果 在 4 工 节 中 的 best-first-search 算法 中 使 用 了 这 个 评估 末 数 ， 那 么 就 把 这 种 算法 称 为 人 
算法 。 

如 果 在 任何 图 中 只 要 存在 从 起 始 结 点 到 达 目标 状态 的 最 优 路 径 ， 搜 索 算法 就 可 以 找到 这 样 
的 路 径 ， 那 么 这 个 算法 就 是 可 采纳 的 。 

如 果 在 A 算法 中 使 用 的 评估 胃 数 满足 h(n) 小 于 等 于 从 m 到 目标 的 最 短路 径 代价 ， 那 么 就 把 
这 种 算法 称 为 A’ 算 法 (A* 读 为 “A 星 ”)。 

A 算法 的 一 个 特性 是 ， 所 有 的 A* 算 法 都 是 可 采纳 的 。 

A 算法 的 可 采纳 性 是 一 个 定理 。 本 章 末尾 的 练习 中 提示 了 如 何 推导 出 它 的 证 明 过 程 〔 也 可 
以 参见 Nilsson 1980，p76 ~ p78) 。 这 个 定理 指出 任何 A* 算 法 (即使 用 启发 h(n) ， 满 足 对 于 所 有 
的 n 都 有 h(n) <h"(n) 的 算法 ) 都 保证 可 以 找到 从 n 到 目标 的 最 短路 径 ， 只 要 这 样 的 路 径 存在 。 

注意 ,可 以 把 宽度 优先 搜索 算法 看 作 是 f(n) =g(n) +0 的 A* 算 法 。 考 虑 状态 的 决策 完全 依 
赖 于 从 起 始 状态 到 状态 n 的 距离 。 在 4.3.3 节 中 我 们 会 说 明 A* 算 法 所 考虑 的 结 点 集 是 宽度 优先 
搜索 所 考虑 的 结 点 集 的 一 个 子 集 。 

前 面 给 出 的 对 8 格 拼图 游戏 的 几 种 启发 都 是 可 用 于 A* 算 法 的 例子 。 尽 管 我 们 可 能 无 法 求 出 
8 格 拼图 游戏 的 h(n) 值 ， 但 是 只 要 启发 是 以 到 达 目 标的 最 短路 径 实际 代价 为 上 限 ， 我 们 就 可 以 
确定 它 是 满足 A* 算法 要 求 的 。 

举例 来 说 ,“ 对 不 在 目标 位 置 的 牌 进行 计数 ”这 一 启发 肯定 小 于 等 于 把 它们 移 到 目标 位 置 所 
需 的 移动 步 数 。 那 么 这 个 启发 是 可 采纳 的 ， 也 就 是 可 以 保证 找到 最 优 解 〈 也 就 是 最 短路 径 ) 。 所 
有 错位 牌 与 它 目标 位 置 的 直接 距离 之 和 也 是 小 于 或 等 于 实际 最 短路 径 。 将 直接 颠倒 牌 的 个 数 乘 
一 个 小 的 数 也 是 可 采纳 的 启发 。 

可 以 把 这 种 证 明 8 格 拼图 游戏 启发 的 可 采纳 性 的 方法 应 用 到 任何 启发 式 搜索 问题 中 。 虽 然 到 
达 目 标的 实际 最 短路 径 并 不 总 是 可 以 计算 的 ， 但 是 我 们 经 常 可 以 证 明 一 个 启发 是 以 这 个 值 为 上 
限 的 。 只 要 做 到 了 这 一 点 ， 产 生 的 搜索 就 会 发 现 到 目标 的 最 短路 径 (条 件 是 这 样 的 路 径 存 在 ) 。 


4.3.2 单调 性 


A 算法 的 定义 并 不 需要 g(n) = g"(m) 。 这 意味 着 可 采纳 的 启发 初始 时 可 能 沿 着 并 非 最 优 的 
路 径 到 达 非 目标 状态 ， 但 它 最 终 会 找到 通 往 目标 路 径 上 所 有 状态 的 最 优 路 径 。 那 么 ， 一 个 很 自然 
的 问题 是 ， 是 否 存在 “局 部 可 采纳 ”的 启发 ， 即 是 否 总 是 可 以 找到 到 达 搜 索 中 遇 到 的 每 个 状态 
的 最 短路 径 。 这 个 特性 被 称 为 单调 性 。 

定义 (单调 性 ) ”启发 函数 hh 单调 的 条 件 是 ; 

1) 对 于 所 有 的 状态 由 和 m， 其 中 中 是 mi 的 后 继 ， 

h(ni) -h(n) <cost(n,, mi) 

其 中 : cost(ni,m) 是 从 状态 mi 到 nn 的 实际 代价 (以 移动 次 数 为 单位 )。 

2) 目标 状态 的 启发 值 为 替 ， 即 h( Goal) =0。 


描述 单调 特征 的 一 种 方式 是 ， 搜 索 空间 的 每 一 处 都 与 所 采用 的 启发 具有 局 部 一 致 性 。 一 个 
状态 的 启发 性 尺度 与 其 任何 后 继 的 启发 性 尺度 间 的 差异 是 以 从 这 个 状态 到 其 后 继 的 实际 代价 为 
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上 限 的 。 这 就 是 说 ， 这 个 启发 在 搜索 空间 的 每 一 处 都 是 可 采纳 的 ， 可 以 从 每 个 状态 的 祖先 沿 最 短 
的 路 径 到 达 这 个 状态 。 

如 果 采 用 最 佳 优先 搜索 的 图 搜索 算法 使 用 了 单调 启发 ， 那么 就 可 以 省 略 一 个 重要 的 步骤 。 
因为 这 个 启发 第 一 次 发 现任 何 一 个 状态 时 所 用 的 路 径 总 是 最 短 的 ， 所 以 当 第 二 次 遇 到 某 个 状 
态 时 ， 就 没有 必要 检查 这 条 新 的 路 径 是 否 是 更 短 的 。 它 肯定 不 会 更 短 。 这 样 ， 当 算法 在 空间 
中 再 次 发 现任 何 状 态 时 ， 它 就 可 以 立刻 丢弃 这 个 状态 ， 不 必 去 更 新 保留 在 open 和 closed 中 的 
信息 。 

当 使 用 一 个 单调 启发 时 ， 随 着 搜索 在 空间 中 的 移动 ， 对 每 一 个 状态 n 的 启发 尺度 被 替换 为 产 
生 到 n 的 那 段 路 径 的 实际 代价 。 因为 这 个 实际 代价 大 于 或 等 于 每 个 实例 中 的 启发 ， 所 以 f 不 会 下 
降 ; 也 就 是 说 f 是 单调 非 递减 的 〈 所 以 叫 单调 性 ) 。 

一 个 简单 的 证 明 可 以 说 明 任何 单调 的 启发 是 可 采纳 的 。 可 以 把 空 间 中 的 任何 路 径 看 作 是 状态 S,， 
s。，…, So 的 序列 ， 其 中 si 是 起 始 状态 ，ss 是 目标 状态 。 对 于 这 条 任意 选择 的 路 径 中 的 移动 序列 : 

根据 单调 属性 ,从 si 到 ss。 有 h(si) -h(sz) 三 Cost(S,, Sa) 

根据 单调 属性 ， 从 ss 到 ss 有 h(ss) -h(ss) 和 cost( sx, sa) 

根据 单调 属性 ， 从 Ss 到 s, 有 h( ss) - h(s4) 和 cost( ss, S4) 


根据 单调 属性 ， 从 So_1 到 So。 有 h(so_1) -h(so) <Cost( so_1, So) 
汇总 每 一 列 ， 并 应 用 单调 性 中 的 h(s,) =0: 
从 Si 到 So 的 路 径 有 h(si) <Ccost(s,, So) 


这 意味 着 单调 启发 h 满足 A* 算法 的 要 求 ， 即 它 是 可 采纳 的 。 那 么 启 发 的 可 采纳 性 是 否 蕴涵 了 单 
调 性 呢 ? 这 个 问题 留 作 练习 。 


4. 3.3 信息 度 更 高 的 肩 发 是 更 好 的 启发 


这 个 小 节 的 最 后 一 个 问题 是 如 何 比较 两 种 启发 发 现 最 短路 径 的 能 力 。 当 启 发 满足 A 算法 要 
求 时 会 产生 一 个 有 趣 的 现象 。 


定义 (信息 度 ) 对 于 两 个 A* 启发 ht 和 hs， 如 果 对 于 搜索 空间 中 的 所 有 状态 n 都 满足 
hi(n) <h,(n) ， 那 么 就 说 hs 比 h, 具有 更 高 的 信息 度 。 


我 们 可 以 使 用 这 个 定义 来 比较 为 求解 8 格 拼图 游戏 而 提出 的 几 种 启发 。 正如 前 面 所 指出 的 ， 
宽度 优先 搜索 等 价 于 使 用 启发 h (对 于 所 有 的 状态 Xx, hi(X) =0) 的 A* 算法 。 这 显然 小 于 h * 。 
我 们 也 已 经 证 明了 h。( 和 目标 状态 相 比 错位 的 牌 数 ) 的 下 限 是 h 。 在 这 个 例子 中 , hi <h,<< 
h* 。 这 可 以 得 出 “错位 牌 数 ”这 个 启发 比 宽度 优先 搜索 的 信息 度 更 高 。 图 4-18 比较 了 这 两 种 启 
发 所 搜索 的 空间 。h, 和 h。 都 找到 了 最 优 路 径 ， 但 是 ha 在 搜索 过 程 中 估算 的 状态 更 少 。 

类 似 地 ， 我 们 可 能 想 知道 计算 错位 牌 离 目标 的 直接 距离 之 和 这 一 启发 是 不 是 又 比 计算 错位 
牌 数 具有 更 高 的 信息 度 ， 事 实 上 是 这 样 的 。 我 们 可 以 画 出 一 系列 搜索 空间 ， 每 一 个 都 小 于 前 面 的 
一 个 ， 并 收敛 到 直接 的 最 优 解 路 径 。 

如 果 启 发 hs 比 h, 的 信息 度 更 高 ， 那 么 hs 分 析 的 状态 集合 是 hh 所 展开 状态 的 一 个 子 集 。 这 
个 结论 可 以 用 反 证 法 来 验证 : 找到 某 个 状态 ，ha 展开 了 , 但 是 hh 没有 展开 ; 但 因为 h。 比 ht 具 
有 更 高 的 信息 度 ， 即 对 于 所 有 的 n，hi(n) > ha(n) ， 而 且 二 者 都 是 以 h 为 上 限 ， 所 以 我 们 的 假 
定 是 不 成 立 的 。 
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图 4-18 启发 式 搜索 和 宽度 优先 搜索 所 搜索 的 状态 空间 比较 
注 : 图 中 加 有 阴影 的 部 分 是 启发 式 搜索 所 搜索 的 空间 。 它 使 用 的 启发 是 f(n) =g(n) + h(n), 
其 中 h(n) 是 错位 牌 的 数量 。 加 粗 的 路 径 是 最 优 解 路 径 

通常 ，A-“ 算法 的 信息 度 越 高 ， 要 得 到 最 优 解 而 需要 展开 的 空间 就 越 小 。 然 而 我 们 必须 注意 ， 
采用 高 信息 度 启发 所 需 的 计算 量 可 能 会 增 大 ， 以 至 于 抵消 了 搜索 状态 数量 降低 所 带 来 的 优势。 

计算 机 国际 象棋 程序 为 这 种 折 中 提供 了 一 个 有 趣 例证 。-- 种 观点 是 使 用 简单 的 启发 ， 依 赖 计算 
机 的 速度 深入 搜索 状态 空间 。 这 些 程序 经 常 使 用 特殊 的 硬件 对 状态 进行 评估 从 而 增加 搜索 深度 。 另 
一 种 观点 依赖 更 周密 复杂 的 启发 来 降低 要 搜索 的 状态 数量 。 这 样 的 启发 包括 : 对 各 个 棋子 优势 的 计 
算 、 对 棋盘 格局 的 控制 、 可 能 的 袭击 策略 、 兵 的 升 变 ， 等 等 。 这 些 启发 本 身 的 计算 复杂 度 可 能 是 指 
数 级 的 〈4 5 节 讨论 这 个 问题 ) 。 因 为 在 博 蛮 中， 前 40 步 的 总 时 间 是 有 限制 的 ， 所 以 在 搜索 和 启发 
评估 之 间 选 择 最 佳 平衡 点 是 很 重要 的 。 但 如 何 把 盲目 搜索 和 启发 最 佳 地 融合 起 来 还 是 计算 机 象棋 中 
依赖 经 验 并 有 待 继续 研究 的 一 个 问题 ， 参 见 Gary Kasparov 和 Deep Blue 的 对 弈 (Hsu 2002) 。 


4.4 在 博弈 中 使 用 启发 


那 时 有 两 种 相对 立 的 博弈 概念 ， 称 为 前 向 评价 和 讨论 。 最 早 的 棋 手 把 博 弈 分 成 两 种 基本 类 
型 :形式 博弈 和 心理 博弈 …… 


一 一 赫 尔 曼 ， 赫 塞 , “Magister Ludi”( 一 种 玻璃 珠 游戏 ) 
4.4.1 在 可 穷 举 搜索 图 上 的 极 小 极 大 过 程 
博弈 一 直 是 启发 式 算法 所 针对 的 一 个 重要 领域 。 由 于 存在 “对 抗 性 ” ， 两 人 对 弈 比 简单 的 拼 
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图 游戏 更 加 复杂 ， 因 为 对 手 的 反应 是 根本 无 法 预测 的 。 这 为 探索 启发 提供 了 更 广阔 的 机 会 ， 同 时 
也 使 开发 搜索 算法 的 难度 更 大 。 

我 们 首先 考虑 状态 空间 足够 小 的 适合 穷 举 搜索 的 博弈 ; 这 里 的 问题 就 是 对 可 能 的 移动 和 对 
手 的 可 能 反应 所 组 成 的 空间 进行 系统 搜索 。 然 后 我 们 再 分 析 不 能 进行 穷 举 搜索 或 不 适合 这 样 做 
的 博弈 。 因 为 仅 可 以 产生 和 搜索 状态 空间 的 一 个 部 分 ， 所 以 棋 手 必须 使 用 启发 来 引导 博弈 过 程 
沿 一 条 通 往 胜 利 状态 的 路 径 进 行 。 


我 们 先 考 虑 余 一 棋 (nim) 的 一 种 变 (7 
体 ， 它 的 状态 空间 是 可 以 穷 举 搜索 的 。 这 种 
棋 是 这 样 玩 的 ， 两 个 对 弈 者 之 间 的 桌子 上 放 


着 很 多 筹码 ;在 每 一 步 ， 棋 手 必 须 把 一 堆 筹 CE [32) [全 
码 分 成 不 等 数量 的 非 空 两 堆 将 牌 。 因 此 ，6 
张 将 牌 可 以 被 分 割 成 5 个 筹码 和 1 个 筹码 的 > 


两 堆 或 者 4 个 筹码 和 2 个 筹码 的 两 堆 ， 但 不 4-2-1 
可 以 是 3 个 筹码 和 3 个 筹码 的 两 堆 。 最 先 无 
法 继续 分 堆 的 棋 手 失败 。 对 于 正常 数量 的 将 


2 
牌 ， 我 们 可 以 对 这 种 模 的 状态 空间 进行 穷 举 





搜索 。 图 4-19 画 出 了 使 用 7 张 将 牌 玩 这 种 
游戏 时 的 状态 空间 。 

在 状态 空间 可 以 穷 举 描述 的 博弈 中 ， 主 3 22.17171 
要 的 难点 是 如 何 考虑 对 手 的 动作 。 处 理 这 一 
问题 的 一 种 简单 方式 是 假定 对 手 具有 相同 的 
关于 状态 空间 的 知识 ， 而 且 他 也 是 应 用 这 一 
知识 以 一 致 的 方式 争取 赢得 比赛 。 尽 管 这 个 9 种 全 一 模 刘 体 的 状态 2i 
假定 具有 局 限 性 (4.4.2 节 中 会 讨论 这 个 问 入 人 直下 人 的 关 态 空间 
题 ) ， 但 是 它 为 预测 对 手 的 行为 提供 了 一 个 
合理 的 基础 。 对 博弈 空间 的 极 小 极 大 〈 minimax〉 搜索 就 是 基于 这 一 假定 。 

我 们 把 博弈 中 的 对 手 分 别称 为 MIN 和 MAX。 尽 管 这 种 称呼 部 分 是 由 于 历史 原因 而 形成 的 ， 
但 主要 是 因为 这 样 称呼 的 含义 更 直接 : MAX 代表 努力 争取 胜利 的 棋 手 ， 也 就 是 要 最 大 化 (MAX- 
imize) 它 的 优势 。MIN 是 对 手 ， 它 总 是 试图 最 小 化 (MINimize) MAX 的 得 分 。 我 们 假定 MIN 使 
用 同样 的 信息 而 且 总 是 企图 移动 到 对 MAX 最 不 利 的 状态 。 

在 实现 极 小 极 大 搜索 时 ， 我 们 把 搜索 空间 的 每 一 层 根据 博弈 中 这 一 步 的 移动 方 标 上 MIN 或 
MAX。 在 图 4-20 所 示 的 例子 中 ，MIN 被 允许 先 移动 。 每 个 叶 结 点 有 一 个 1 或 0 的 值 ， 代 表 是 
MAX 胜利 了 还 是 MIN 胜利 了 。 极 小 极 大 搜索 根据 下 面 的 规则 沿 连续 的 父 结 点 向 上 传播 这 些 值 : 


如 果 父 状态 是 一 个 MAX 结 点 ， 那 么 把 孩子 中 的 最 大 值 赋 给 它 。 
如 果 父 状态 是 一 个 MIN 结 点 ， 那 么 把 孩子 中 的 最 小 值 赋 给 它 。 


于 是 赋 给 每 个 状态 的 值 表示 了 这 个 棋 手 可 以 期 望 达到 的 最 佳 状态 值 (假定 对 手 的 走 法 与 极 小 极 
大 算法 所 预测 的 走 法 一 样 )。 然 后 ， 算 法 便 使 用 这 样 推导 出 的 值 来 选择 移动 方法 。 图 4-20 显示 了 
对 余 一 棋 状 态 空间 图 应 用 极 小 极 大 算法 的 结果 。 

叶 结 点 的 值 使 用 极 小 极 大 规则 向 上 传播 。 因 为 MIN 第 一 步 的 所 有 可 能 移动 所 产生 的 结 点 的 
值 都 是 1， 所 以 不 论 MIN 第 一 步 如 何 移动 ， 第 二 个 棋 手 MAX 总 可 以 使 博弈 胜利 。 只 有 MAX 下 得 
很 思春 时 MIN 才 会 赢 。 图 4-20 以 粗 的 箭头 表示 出 了 MAX 的 赢 棋 路 线 ，MIN 可 以 选取 第 一 步 可 能 
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移动 的 任何 一 种 方法 。 
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图 4-20 ”对 余 一 棋 应 用 穷 举 式 的 极 小 极 大 算法 
注 ; 粗 线 表 示 MAX 的 赢 棋 路 线 。 在 极 小 极 大 搜索 中 ， 每 个 结 点 都 被 标 上 它 自己 的 导出 值 (0 或 1) 


尽管 有 些 博 弈 的 状态 空间 是 可 以 穷 举 搜索 的 ， 但 是 大 多 数 实 际 情况 是 不 允许 进行 穷 举 搜索 。 
下 一 节 将 讨论 固定 深度 的 搜索 。 


4.4.2 固定 层 深 的 极 小 极 大 过 程 


在 对 更 复杂 的 博弈 应 用 极 小 极 大 算法 时 ， 很 多 时 候 都 不 可 能 把 状态 空间 一 直 展 开 到 叶 结 点 。 
而 是 搜索 状态 空间 中 预先 定义 的 一 定 层 数 ， 具 体 数字 是 由 可 用 的 时 间 和 内 存 资源 来 决定 的 。 我 
们 把 这 种 策略 称 为 n - 层 预 判 (n-ply look-ahead) ， 其 中 m 是 要 探索 的 层 数 。 由 于 这 个 子 图 的 叶 结 
点 不 是 博弈 的 最 终 状 态 ， 所 以 按照 胜利 或 失败 来 为 这 些 状态 赋值 是 不 可 能 的 。 相 反 ， 需 要 根据 某 
个 启发 评估 应 数 给 每 个 结 点 赋 一 个 值 。 这 个 向 上 传播 的 值 并 不 表示 是 否 可 以 胜利 (就 像 前 一 个 
例子 那样 )， 它 只 代表 从 当前 起 始 结 点 通过 n 次 移动 可 以 达到 的 最 佳 状态 的 启发 值 。 预 判 把 启发 
应 用 到 状态 空间 的 一 个 更 大 区 域 ， 所 以 它 提高 了 启发 的 作用 。 极 小 极 大 过 程 把 这 些 分 离 的 评估 
值 合 并 成 祖先 状态 的 一 个 单一 值 。 

在 博弈 对 抗 中 ， 每 个 棋 手 都 企图 战胜 对 方 ， 所 以 很 多 博弈 启发 直接 衡量 一 个 棋 手 相对 于 另 
一 个 棋 手 的 优势 。 在 西洋 跳棋 或 国际 象棋 中 ， 棋 子 的 优势 是 很 重要 的 ， 所 以 一 种 简单 的 启发 
是 计算 属于 MAX 和 MIN 的 子 数 的 差异 ， 并 尽 可 能 最 大 化 这 个 差异 。 一 种 更 复杂 的 策略 是 给 不 
间 的 子 赋 予 不 同 的 值 ， 依 赖 于 它们 的 价值 (比如 国际 象棋 中 的 皇后 和 卒 或 西洋 跳棋 中 的 王 与 
普通 棋子 的 价值 显然 不 同 ) 或 在 棋盘 上 的 位 置 。 大 多 数 博 弈 都 为 设计 启发 提供 了 无 限 的 想象 
空间 。 

博弈 图 是 按 层 搜索 的 。 正 如 图 4-20 所 示 ，MAX 和 MIN 轮换 移动 。 棋 手 的 每 一 次 移动 定义 了 
一 个 新 的 图 层 。 博 弈 程序 通常 预 判 固定 的 层 数 ， 大 多 时 候 这 由 计算 机 的 空间 和 时 间 限 制 决定 。 在 
被 预 判 的 那 一 层 ， 博 弈 程序 计算 各 个 状态 的 启发 值 ， 然 后 按照 极 小 极 大 规则 向 上 传播 这 个 值 。 接 
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下 来 搜索 算法 使 用 这 些 导 出 值 (derived value) 选择 下 一 步 的 移动 。 

在 确定 了 所 选 层 中 每 个 状态 的 评估 值 后 ， 程 序 把 这 个 值 向 上 传播 到 每 个 父 状态 。 如 果 父 状 
态 在 MIN 层 ， 那 么 孩子 中 的 最 小 值 被 传递 上 去 。 如 果 父 状态 在 MAX 层 ， 那 么 极 小 极 大 算法 把 孩 
子 中 的 最 大 值 赋 给 它 。 

努力 使 MAX 层 中 的 父 状 态 最 大 化 ，MIN 层 中 的 父 状态 最 小 化 ， 算 法 就 这 样 把 值 传递 到 当前 
状态 的 孩子 。 然 后 当前 状态 使 用 这 些 值 来 选择 它 的 孩子 。 图 4-21 显示 了 对 假想 的 状态 空间 使 用 4 
层 预 判 极 小 极 大 算法 的 情况 。 


MAX 3 





| TAN 
| 2 


大 3 5 9 


图 4-21 慨 相 次 态 训 间 的 极 小 极 大 过 和 
注 : 叶 结 点 显示 了 启发 值 ， 内 部 状态 显示 了 向 上 传播 的 值 


最 后 ， 我 们 归纳 一 下 极 小 极 大 过 程 的 几 点 不 足 。 首 先 ， 也 是 最 重要 的 一 点 是 ， 在 (预先 确 
定 的 ) 国定 层 深情 况 下 它 所 做 出 的 评估 可 能 完全 是 误导 性 的 。 因 为 ， 当 把 一 个 启发 用 于 有 限 深 
度 预 判 时 ， 在 这 个 预 判 深度 内 无 法 探测 出 一 个 有 和 希望 的 路 径 是 否 会 在 以 后 的 博弈 中 产生 坏 的 结 
果 。 如 果 对 手 给 出 一 个 车 作为 引诱 来 取 你 的 皇后 ， 而 且 评 估 过 程 仅 预 判 到 对 手 献 出 车 这 一 层 ， 那 
么 评估 就 会 优先 考虑 这 个 状态 。 但 不 幸 的 是 ， 选 取 这 个 状态 可 能 导致 输 掉 整 盘 棋 。 这 就 是 所 谓 的 
地 平 线 效 应 (horizon effect) 。 即 由 于 被 搜索 有 限 层 深度 时 所 发 现 的 特别 好 状态 引诱 而 遭 到 还 击 。 
不 过 ， 即 使 在 一 些 重 要 的 领域 中 ， 这 种 有 选择 的 搜索 深入 方法 也 无 法 避免 地 平 线 效 应 。 因 为 搜索 
必须 在 某 个 深度 停止 ,那么 就 看 不 见 这 一 点 以 外 的 状态 了 。 

在 对 基本 的 启发 性 评估 应 用 极 小 极 大 算法 的 过 程 中 还 可 能 发 生 另 一 种 效应 。 当 对 空间 中 非 
常 深层 的 状态 进行 评估 时 ,评估 结果 可 能 由 于 发 生 在 过 大 的 深度 而 存在 偏差 (Pearl 1984) 。 与 乘 
积 的 平均 不 同 于 平均 的 乘积 一 样 ， 极 小 极 大 的 估计 (这 是 我 们 需要 的 ) 不 同 于 估计 的 极 小 极 大 
(这 是 我 们 所 做 的 ) 。 从 这 个 意义 上 来 说 ， 尽 管 对 于 评估 结果 的 更 深 的 搜索 通常 意味 着 更 好 的 搜 
索 ， 但 未 必 总 是 如 此 。 如 果 要 了 解 关于 这 个 问题 的 进一步 讨论 以 及 可 能 的 补救 措施 ， 请 参阅 
Pearl (1984 ) 。 

为 了 总 结 极 小 极 大 过 程 ， 我 们 以 九宫 游戏 为 例 描述 如 何 应 用 这 个 过 程 ( 见 4.0 节 )， 这 个 例 
子 摘自 Nilsson (1980)。 在 这 个 应 用 中 使 用 了 一 个 更 复杂 的 启发 ， 这 个 启发 试图 度量 博弈 中 的 对 
抗 。 具 体 来 说 ， 对 于 一 个 要 度量 的 状态 ， 这 个 启发 数 出 对 于 MAX 来 说 存在 的 所 有 胜利 路 线 ， 然 
后 减 去 对 于 MIN 来 说 的 所 有 胜利 路 线 。 搜 索 的 任务 就 是 努力 使 这 种 差异 最 大 化 。 如 果 一 个 状态 
对 于 MAX 来 说 是 必 胜 的 ， 那 么 它 被 评估 为 + % ， 如 果 一 个 状态 对 于 MIN 来 说 是 必 胜 的 ， 那 么 它 
被 评估 为 - %w 。 图 4-22 显示 了 把 这 一 启发 应 用 到 几 个 实例 状态 的 情况 。 

图 4-23、 图 4-24、 图 4-25 画 出 了 应 用 图 4-22 所 示 启 发 的 两 层 极 小 极 大 过 程 。 图 中 显示 了 很 
多 重要 的 过 程 ， 比 如 启发 评估 、 极 小 极 大 倒 推 、MAX 的 移动 ， 还 有 对 于 等 值 的 移动 应 用 某 种 类 
型 的 平分 决胜 局 (tiebreaker) (摘自 Nilsson，1971)。 
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X 有 6 条 可 能 的 胜利 路 线 


| < 一 
O 〇 
O 有 5 条 可 能 的 胜利 路 线 


E(m=6-5=1 


X 有 4 条 可 能 的 胜利 路 线 
X O 有 6 条 可 能 的 胜利 路 线 
E(n)=4-6=-2 


OX 有 5 条 可 能 的 胜利 路 线 
O 有 4 条 可 能 的 胜利 路 线 


E(n) =5-4=1 





启发 : E(n) = M(n) - O(n) 
其 中 ; M(n) 为 我 方 的 胜利 路 线 总 数 
O(n) 为 对 方 的 胜利 路 线 总 数 

E(n) 为 状态 n 的 总 评估 值 


图 4-22 应 用 到 九宫 游戏 中 各 个 状态 的 度量 对 抗 的 启发 
(CD -十 上 起 始 
间 结 点 


MAX 的 移动 
| ~ 
阁 二 GO 葵 CD 





+ 
4 4 和 笠 叶 和 条 


5-4=1 6-4=2 





6-5=1 5-5=0 6-5=1 5-5=0 4-5=71 


义 又 又 又 又 
5_6=-16-6=05-6=-16-6=0 4-6=-2 


图 4-23 应 用 到 九宫 游戏 开局 移动 的 两 层 极 小 极 大 过 程 
[摘自 Nilsson (1971)] 





4.4.3 a-P 过 程 

单纯 的 极 小 极 大 过 程 需要 对 搜索 空间 进行 两 遍 分 析 ， 第 一 遍 是 向 下 降 到 预 判 层 并 在 那里 应 
用 启发 评估 ， 第 二 遍 是 沿 树 向 上 传播 评估 值 。 极 小 极 大 过 程 追 索 空 间 中 的 所 有 分 支 ， 包括 许多 可 
以 被 更 智能 算法 所 忽略 或 修剪 掉 的 分 支 。 为 此 ， 博弈 研究 者 开发 出 一 种 称 为 a-B 剪 枝 〈alpha-be- 
ta pruning) 的 技术 来 提高 双人 博弈 的 搜索 效率 。 这 种 技术 最 初 是 在 20 世纪 50 年 代 提 出 的 
(Newell and Simon 1976 ) 。 

a-B 搜索 的 基本 思想 是 很 简单 的 : a-B 搜索 并 不 搜索 预 判 深度 的 整个 空间 ， 而 是 以 深度 优先 
的 方式 前 进 。 在 搜索 中 产生 两 个 值 ， 分 别称 为 a 和 B。 值 与 MAX 结 点 相关 联 从 不 减 小,， 而 B 
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值 与 MIN 结 点 相关 联 从 不 增 大 。 假 定 MAX 结 点 的 a 值 为 6。 那 么 MAX 不 必 考 虑 其 下 任何 关联 值 
小 于 等 于 6 的 MIN 结 点 。a 是 假定 MIN 也 尽 最 大 努力 时 MAX 可 以 获得 的 最 差 “ 分 数 ”。 类 似 地 ， 
如 果 MIN 的 B 值 为 6， 那么 它 不 需要 考虑 它 下 面 的 关联 值 等 于 或 大 于 6 的 MAX 结 点 。 


“ 笠 








用 隆 和 车 和 舍 涵 条“ 性 


4-2=2 3-2=1 5-2=33-2=1 4-2=<2 4-2=2 





4-3=1 3-3=0 5-3=2 3-3=0 4-3=1 4-3=1 





EE 


2=2 4-2=2 5-2=3 3-2=1 4-2=2 4-2=2 


4-3=1 4--1 3-3=0 
图 4-24 两 层 极 小 极 大 过 程 和 两 种 可 能 的 MAX 第 二 步 移动 
[摘自 Nilsson (1971) ] 

要 开始 a-B 搜索 ， 我 们 先 以 深度 优先 的 方式 下 降 到 预 判 层 并 对 每 一 个 状态 和 它 的 所 有 孩子 
应 用 启发 性 评估 。 假 设 这 些 孩子 是 MIN 结 点 ， 那 么 这 些 MIN 值 中 的 最 大 值 被 倒 推 回 父 结 点 
(MAX 结 点 ， 就 像 极 小 极 大 过 程 一 样 ) 。 然 后 这 个 值 被 提供 给 这 些 MIN 结 点 的 祖父 结 点 作为 一 个 
潜在 的 BB 截止 点 。 

接 下 来 ,算法 下 降 到 其 他 的 曾孙 结 点 ， 如 果 它 们 中 的 任 一 个 值 等 于 或 大 于 这 个 B 值 ， 那么 
就 终止 探索 它们 的 父 结 点 。 对 MAX 结 点 的 曾孙 结 点 的 a 剪 梳 过 程 与 此 类 似 。 

建立 在 a 和 6B 值 基础 上 的 两 条 搜索 终止 规则 如 下 : 

1) 在 任 一 个 MIN 结 点 下 ， 如 果 发 现 了 一 个 B 值 小 于 或 等 于 它 的 任 一 个 MAX 祖先 的 a 值 ， 
就 可 以 终止 搜索 。 

2) 在 任 一 个 MAX 结 点 下 ， 如 果 发 现 了 一 个 a 值 大 于 或 等 于 它 的 任 一 个 MIN 祖先 的 8 值 ， 
就 可 以 终止 搜索 。 

因此 ，a-8B 前 枝 表 述 了 第 n 层 结 点 和 第 n +2 层 结 点 之 间 的 关系 ， 根 据 这 一 关系 可 以 从 考虑 
中 排除 始 于 第 n+1 房 的 整个 子 树 。 以 图 4-21 所 示 空 间 为 例 ， 对 其 应 用 a-B 剪 枝 ， 其 结果 显示 在 
图 4-26 中 。 注 意 : 侄 推 值 的 结果 与 极 小 极 大 过 程 的 结果 是 完全 相同 的 ， 但 是 它 与 极 小 极 大 过 程 
相 比 所 节约 的 搜索 是 很 可 观 的 。 

如 果 搜 索 空 间 中 状态 的 排列 顺序 很 有 利 ， 那 么 在 同等 的 计算 机 时 间 和 空间 条 件 下 a-B 剪 枝 
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可 以 使 搜索 速度 提高 一 倍 ( Nilsson 1980) 。 如 果 状 态 的 排列 顺序 特别 不 利 ， 那么 a-B 搜索 的 空间 
也 不 比 正常 的 极 小 极 大 过 程 多 ， 而 且 仅 需 要 扫描 空间 一 遍 。 


多 
-一 7 
全 -一 ”人 


XX! 
2-1=1 3-1=2 2-1=1 3-1=2 


3 起 始 
MA 和 DO 你 







X 
—— 3-2=1 2-2=0 3-2=1 — 2-1=1 3-1=2 3-1=2 


起 


Xx Xx 
-mm 2-2=0 2-2=0 3-2=1 


图 4-25 对 X 在 接近 终局 的 移动 应 用 两 层 极 小 极 大 过 程 
[摘自 Nilsson (1971) ] 


MAX 


MIN 


MAX 


MIN 





A 有 P=3 (A 将 不 会 大 于 3) 
B 是 B 剪 枝 ， 因 为 $>3 
C 是 a=3(C 将 不 会 小 于 3) 
D 是 a 剪 枝 ， 因 为 0 和 3 
E 是 a 剪 枝 ， 因 为 2<3 
C 是 3 


图 4-26 ”对 图 4-21 的 状态 空间 应 用 aq-B 前 枝 
注 ; 没有 数字 的 状态 将 不 会 被 估算 
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4.5 复杂 度 问题 


组 合 问题 的 最 大 难处 在 于 组 合 “爆炸 ”经 常 发 生 在 程序 设计 者 没有 意识 到 它 会 发 生 的 情况 
下 。 因 为 大 多 数 人 类 活动 (计算 活动 和 其 他 活动 ) 都 是 发 生 在 线性 时 间 世 界 中 ， 所 以 我 们 很 难 
理解 指数 增长 。 我 们 会 听 到 这 样 的 抱怨 :“ 只 要 我 的 计算 机 更 大 (或 者 说 更 快 或 并 行程 度 更 高 )， 
那么 我 的 问题 就 会 解决 。 这 样 的 感慨 经 常 是 对 因 组 合 爆 炸 而 导致 的 失败 而 发 的 ， 但 大 多 时 候 这 
都 是 一 些 废话 。 因 为 ， 真 正 的 原因 往往 是 没有 恰当 地 理解 问题 或 者 没有 针对 具体 条 件 下 的 组 合 
增长 采取 合适 的 措施 。 

组 合 增长 的 速度 是 令 人 惊 惕 的 。 据 估计 ， 对 国际 象棋 中 可 能 移动 所 组 成 的 空间 进行 完全 搜 
索 所 产生 的 状态 总 数 大 约 是 10”。 这 不 是 一 般 意义 上 的 庞大 数字 ， 它 可 以 与 宇宙 中 的 分 子 总 数 
或 自从 “大 爆炸 ”迄今 经 过 了 多 少 个 纳 秒 相 比 。 

已 经 开发 了 一 些 度 量 尺 度 用 来 帮助 我 们 计算 复杂 性 。 其 中 之 一 就 是 空间 的 分 支 因 子 
(branching factor) 。 我 们 把 分 支 因子 定义 为 可 以 从 空间 中 的 任意 状态 展开 的 平均 分 支 数 〈 孩 子 
数 ) 。 在 搜索 深度 为 mn 时 ， 要 搜索 的 状态 数 等 于 分 支 因子 的 mn 次 方 。 一 旦 计算 出 了 空间 的 分 支 因 
子 ， 那么 就 有 可 能 估计 出 产生 一 个 任意 确定 长 度 的 路 径 所 需 的 搜索 代价 。 图 4-27 给 出 了 B (分 
支 因 子 )、L (路 径 长 度 ) 和 T (搜索 的 状态 总 数 ) 之 间 的 关系 〈 较 小 值 的 情况 ) 。 这 个 图 是 按 
的 对 数 绘制 的 ， 所 以 在 图 中 上 看 起 来 不 是 直线 。 

2.5 
2.2 





1 10 100 1 000 “ 10 000 


图 4-27 产生 的 结 点 数 相对 分 支 因 子 B 和 不 同 解 路 径 长 雇工 的 函数 曲线 
注 : 它们 的 关系 公式 为 : T=B (Br -1) /(B-1) [摘自 Nilsson (1980) ] 

分 析 这 幅 图 的 几 个 实例 可 以 说 明 事情 是 如 何 变 糟糕 的 。 如 果 分 支 因 子 为 2〈( 比如 在 二 叉 树 
中 ) ， 那 么 要 分 析 扩 展 到 搜索 空间 6 层 深度 的 所 有 路 径 需 要 大 约 搜 索 100 个 状态 。 如 果 要 考虑 12 
次 移动 这 样 深度 的 路 径 ， 那 么 需要 搜索 大 约 10000 个 状态 。 如 果 分 支 因 子 被 减 小 到 1. 5 (通过 某 
种 启发 ) ， 那 么 长 为 12 的 路 径 只 需 考虑 几 百 个 状态 。 

产生 图 4-27 所 示 关 系 的 数学 公式 是 : 


T=B+B’+B’ +.……+B: 


772 开 二 部 分 作为 表示 天 提 赤 的 人 工大 能 





其 中 , T 是 状态 总 数 ，L 是 路 径 长 度 ，B 是 分 支 因 子 。 这 个 公式 可 以 简化 为 : 
T=B(B' -1)/(B-1) 


对 搜索 空间 的 度量 通常 是 一 种 试验 过 程 ， 要 反复 多 次 求解 这 个 问题 并 检验 它 的 变化 。 举 例 
来 说 ,假定 我 们 希望 得 出 8 格 拼图 游戏 的 分 支 因 子 。 我 们 先 计算 可 能 移动 的 总 数 ， 从 每 个 角 有 两 
种 移动 总 共有 8 种 ; 从 每 个 边 的 中 心 点 有 3 种 移动 总 共有 12 种 移动 ; 从 方 格 的 中 央 有 4 种 移动 ; 
所 以 全 部 加 起 来 移动 数 有 24 种 。 把 这 个 数字 除 以 9 空位 的 不 同 可 能 位 置 数 ， 得 出 平均 的 分 
支 因子 为 2. 67。 从 图 4-27 可 以 看 出 ， 这 个 数字 对 于 很 深 的 搜索 是 非常 不 利 的 。 如 果 我 们 排除 直 
接 返 回 到 父 状态 的 移动 (已 经 加 入 到 本 章 讨论 的 算法 中 )， 那 么 每 个 状态 的 可 能 移动 数 就 减少 1 
种 。 这 就 使 分 支 因 子 变 为 1.67， 这 是 一 个 很 可 观 的 改善 ， 在 某 些 状 态 空 间 中 ,这 甚至 使 穷 举 搜 
索 成 为 可 能 。 

正如 我 们 在 第 3 章 中 所 考虑 的 ， 算 法 的 复杂 度 也 可 以 用 open 和 closed 列表 的 大 小 来 衡量 。 
一 种 使 open 列表 的 大 小 保持 在 一 个 合理 范围 内 的 方法 是 仅 在 open 中 保存 一 定数 量 的 (启发 性 ) 
最 好 状态 。 这 可 以 使 搜索 更 加 集中 ,但 也 有 排除 最 好 的 或 者 其 至 是 惟一 的 解 路 径 的 风险 。 这 种 维 
护 列表 大 小 上 限 的 技术 被 称 为 定向 搜索 (beam search ) 。 

为 了 降低 搜索 的 分 支 〈( 即 限制 搜索 的 空间 ) ， 我 们 介绍 了 更 高 信息 度 启发 的 概念 。 搜 索 策略 
所 用 启发 的 信息 度 越 高 ， 那 么 为 了 得 到 最 短路 径 解 所 必须 搜索 的 空间 就 越 小 。 但 正如 在 4.4 节 中 
所 指出 的 ， 进 一 步 削 减 搜索 空间 所 需 额 外 信息 的 运算 开销 可 能 是 不 可 接受 的 。 在 计算 机 上 求解 
问题 时 ， 只 找到 最 短路 径 还 是 不 够 的 。 我 们 还 必须 最 小 化 CPU 的 总 开销 。 

图 4-28 所 示 的 分 析 摘 自 Nilsson (1980) ， 这 是 对 以 上 问题 的 一 种 非 形式 描述 。“ 信 息 度 ” 坐 
标 表示 为 了 提高 性 能 在 评估 启发 中 所 包含 的 信息 量 。“ 计 算 开销 ”坐标 标志 了 为 实现 状态 评估 和 
算法 的 各 个 其 他 要 素 所 需 的 计算 开销 。 随 着 启发 中 所 包含 信息 的 上 升 ， 启 发 所 需 的 计算 开销 也 
在 上 升 。 类 似 地 ， 随 着 启发 信息 度 的 提高 ， 评 估 状 态 的 计算 开销 变 小 ， 因 为 要 考虑 的 状态 数 变 少 
了 。 然 而 最 关键 的 开销 是 计算 启发 加 上 评估 状态 的 总 开销 ， 通 常 最 小 化 这 个 开销 才 是 我 们 所 和 希 
望 的 。 





计算 开销 


应 用 规则 的 开销 





0 
0 “信息 度 ” 完全 信息 


图 4-28 ”搜索 开销 和 计算 启发 评估 的 开销 相对 启发 信息 度 的 粗略 曲线 
[摘自 Nilsson (1980)] 


最 后 要 指出 ， 与 或 图 的 启发 搜索 是 值得 关注 的 一 个 重要 领域 ， 因 为 专家 系统 所 用 的 状态 空 
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间 经 常 是 这 种 形式 。 对 这 种 结构 的 搜索 渗透 到 本 章 和 前 一 章 的 各 个 部 分 。 因 为 要 发 现 目标 就 必 
须 搜索 所 有 的 与 孩子 结 点 ， 所 以 对 搜索 与 结 点 代价 的 启发 性 估计 就 是 对 搜索 孩子 代价 估计 的 
总 和 。 

然而 ， 除 了 对 个 体 与 状态 的 数值 评估 ， 在 与 或 图 研究 中 还 有 许多 其 他 启发 式 问题 ， 比 如 在 基 
于 知识 的 系统 中 用 到 的 启发 式 。 举 例 来 说 ， 如 果 解 决 父 状 态 需要 与 孩子 集合 都 满足 ， 那 么 应 该 先 
考虑 哪个 孩子 ? 哪个 状态 最 值得 评估 ? 哪个 状态 最 有 可 能 失败 ? 哪个 状态 人 类 专家 会 优先 考虑 ? 
这 些 决 策 对 计算 知识 系统 的 有 效 性 和 整体 代价 都 很 重要 ， 如 医学 或 其 他 诊断 测试 。 这 些 问 题 以 
及 其 他 一 些 相关 的 启发 式 问题 将 在 第 8 章 再 次 探讨 。 


4.6 结语 和 参考 文献 


很 多 有 趣 问题 的 搜索 空间 往往 是 按 指数 增长 的 ; 启发 式 搜索 是 对 付 组 合 爆 炸 复杂 性 的 首要 
工具 。 本 章 介绍 了 实现 启发 式 搜索 的 各 种 控制 策略 。 

本 章 以 两 个 传统 算法 开始 ， 朴 山 和 动态 规划 ， 它 们 都 继承 自 运筹 学 。 我 们 建议 阅读 Arthur 
Samuel (1959) 的 文章 ， 其 中 讨论 了 他 的 下 棋 程 序 以 及 程序 中 对 肥 山 和 极 小 极 大 搜索 的 精妙 运 
用 。Samuel 还 介绍 了 早期 两 个 有 意思 的 例子 ， 精 妙 的 内 存 管 理 系 统 和 能 学 习 的 程序 。Bellman 
(1956) 设计 的 动态 规划 算法 在 必须 要 比较 字符 串 、 单 词 或 语音 的 领域 仍然 很 重要 ， 比 如 自然 语 
言 处 理 。 动 态 规划 经 常 被 称 为 前 前 后 后 算法 或 Viterbi 算法 。 用 动态 规划 进行 语言 分 析 的 重要 例 
子 在 Jurafsky 和 Martin (2009) 的 文章 和 第 15 章 中 介绍 。 

接着 ,我 们 在 关于 传统 的 状态 空间 搜索 的 上 下 文中 介绍 了 启发 式 。 我 们 介绍 了 实现 最 佳 优 
先 搜 索 的 A 算法 和 A' 算法。 启发 式 搜索 是 通过 8 格 拼图 等 简单 游戏 来 说 明 的 ， 然 后 扩展 到 基于 
规则 的 专家 系统 产生 的 更 复杂 的 问题 空间 (第 8 章 ) 。 本 章 还 将 启发 式 搜索 应 用 到 了 二 人 游戏 ， 
使 用 带 极 小 极 大 和 a-B 剪 枝 的 预 判 来 尝试 预测 对 手 的 行为 。 在 讨论 了 A "算法 后 ， 我 们 分 析 了 它 
们 的 行为 ， 考虑 了 可 采纳 性 、 单 调 性 和 信息 度 等 属性 。 

复杂 度 理论 这 门 学 科 已 经 渗透 到 计算 科学 的 几乎 所 有 分 支 ， 特 别 是 状态 空间 的 增长 和 启发 
性 修剪 。 复 杂 度 理论 分 析 的 是 问题 〈 与 应 用 于 这 些 问 题 的 算法 相对 ) 的 固有 复杂 性 。 复 杂 度 理 
论 中 的 一 个 核心 假说 是 存在 一 类 固有 的 难以 驾驭 的 问题 。 这 类 被 称 为 NP-hard (Nondeterministi- 
cally Polynomial) 的 问题 是 由 那些 如 果 不 借助 启发 就 不 可 以 在 少 于 指数 时 间 内 求解 的 问题 所 组 成 
的 。 几 乎 所 有 的 搜索 问题 都 属于 这 一 类 。 关 于 这 方面 的 材料 我 们 特别 推荐 Michael R，Garey 和 
David S，Johnson (1979) 所 著 的 《Computers and Intractability》 以 及 Bernard Moret 和 Henry Sha- 
piro (1991) 所 著 的 《Algorithms from P to NP, Vol. 1: Design and Efficiencyy》。 

Judea Pearl (1984) 所 著 的 《Heuristics》 一 书 全 面 讨论 了 启发 算法 的 设计 和 分 析 。R. E. Korf 
(1987，1998 ，1999，2004) 一 直 在 研究 各 种 搜索 算法 ， 包 括 迭 代 加 深 算法 的 分 析 和 IDA "算法 的 
开发 。IDA 算法 把 迭代 加 深 和 A 算法 集成 到 一 起 ， 目 的 是 在 启发 式 搜索 中 把 open 列表 限制 在 
线性 范围 内 。 国 际 象棋 和 其 他 博弈 程序 一 直 是 AI 历史 的 永恒 主题 (Hus 2002) ， 各 种 年 会 上 经 常 
发 表 和 讨论 这 方面 的 成 果 。 

我 们 非常 感谢 Nils Nilsson (1980) ， 因 为 本 章 的 很 多 例子 和 方法 来 源 于 此 。 


4.7 习题 


. 扩展 九宫 游戏 的 “最 多 胜利 ”启发 式 ， 在 图 4-3 的 搜索 空间 中 多 深入 两 层 。 用 这 一 启发 式 检查 的 全 部 状 
态 有 多 少 个 ? 传统 的 聆 山 算法 在 这 种 情况 下 能 工作 吗 ? 为 什么 ? 

. 用 动态 规划 算法 的 回溯 部 分 找 出 图 4-6 中 字符 串 的 另 一 种 最 佳 对 齐 。 一 共有 几 种 最 佳 对 齐 ? 

. 以 4.1.2 节 的 Levenshtein 距离 为 度量 ， 用 动态 规划 确定 源 串 sensation 和 excitation 到 目标 串 execution 的 最 
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小 编辑 距离 。 


- 给 出 一 种 启发 使 堆积 木 程序 可 以 用 它 来 求解 这 种 形式 的 问题 “把 积木 X 堆 在 积木 Y 上 ”。 这 个 启发 是 可 


采纳 的 吗 ? 单调 吗 ? 


， 滑动 将 牌 游戏 由 三 个 黑色 将 牌 和 三 个 白色 将 牌 组 成 ， 而 且 留 有 一 个 空位 ， 如 图 4-29 所 示 。 
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图 4-29 滑动 将 牌 游戏 





这 个 游戏 有 两 种 不 同 代价 的 合法 移动 : 

一 个 将 牌 可 以 移动 到 紧邻 的 空位 。 这 种 移动 的 代价 是 1。 一 个 将 牌 可 以 跳 妈 一 或 两 个 其 他 的 将 牌 进 入 空 
位 。 这 种 移动 的 代价 等 于 它 所 跨越 的 将 牌 数 。 

游戏 的 目标 是 使 所 有 的 白色 将 牌 在 所 有 的 黑色 将 牌 左边 。 空 位 的 位 置 是 无 关 紧 要 的 。 

a) 从 复杂 度 和 循环 的 角度 分 析 这 个 状态 空间 。 

b) 提出 一 种 可 以 用 来 求解 这 种 游戏 的 启发 ， 并 从 可 采纳 人 性、 单调 性 和 信息 度 方面 对 其 进行 分 析 。 


. 把 图 4-14 所 示 的 三 种 8 格 拼图 游戏 的 启发 与 错位 牌 的 距离 和 加 上 直接 颠倒 数 乘 2 这 个 启发 进行 比较 。 考 


虑 以 下 这 几 个 方面 : 

a) 估计 到 目标 距离 的 精度 。 这 和 需要 你 首先 导出 最 短路 径 解 ， 然 后 再 以 其 为 标准 。 

b) 信息 度 。 哪 一 个 启发 会 最 有 效 地 修剪 空间 ? 

c) 8 格 拼图 游戏 的 这 三 种 启发 都 是 单调 的 吗 ? 

d) 可 采纳 性 。 这 三 种 启发 中 的 哪 一 个 是 以 到 达 目 标的 路 径 的 实际 代价 为 上 限 的 ? 在 一 般 情况 下 证 明 你 
的 结论 ， 或 者 给 出 一 个 反例 。 


. a) 正如 文中 所 指出 的 ， 最 佳 优先 搜索 使 用 closed 列表 来 实现 循环 探测 。 取 消 这 一 探测 ， 依 赖 对 深度 的 


测试 g(n) 来 探测 循环 会 有 什么 影响 呢 ? 比较 这 两 种 方法 的 效率 。 
b) best-first-search 直到 状态 从 open 中 移出 时 才 测 试 它 是 否 满足 了 目标 。 也 可 以 在 产生 一 个 新 的 状态 
时 进行 这 种 测试 。 这 样 做 在 算法 的 效率 方面 会 有 什么 影响 ? 对 可 采纳 性 有 影响 吗 ? 


.证明 A "算法 是 可 采纳 的 。 提 示 : 这 个 证 明 应 该 说 明 ， 


a) A' 搜索 会 终止 。 
b) 在 算法 的 执行 期 间 ， 在 open 中 总 是 存在 一 个 结 点 是 位 于 通 往 目标 的 最 优 路 径 上 。 
c) 如 果 存 在 到 达 目 标的 路 径 ， 那么 A" 算法 会 以 发 现 最 优 路 径 而 终止。 


. 启发 的 可 采纳 性 是 否 蕴涵 了 单调 性 ? 如 果 不 是 ， 你 能 否 描述 出 何 时 可 采纳 性 蕴涵 了 单调 性 ? 


证 明 A -算法 所 展开 的 状态 集合 是 宽度 优先 搜索 所 展开 的 状态 集合 的 子 集 。 


- 证 明 信 息 度 更 高 的 启发 所 展开 的 搜索 空间 更 少 或 相等 。 提 示 : 参见 4. 3. 3 节 中 的 论据 。 
凯撒 加 密 ( Caesar cipher) 是 一 种 简单 的 加 密 方案 。 它 的 原理 是 对 字母 表 进行 循环 排列 ， 即 把 字母 表 的 


第 i 个 字母 替换 为 第 〈i +a) 个 字母 。 例 如 ， 如 果 对 “Caesar” 应 用 偏 移 为 4 的 凯 撤 加密， 那么 它 会 被 

加 窗 为 “Geiwev”。 

a) 给 出 可 以 用 于 求解 凯撒 加 密 问 题 的 三 种 启发 。 

b) 在 一 种 简单 的 替换 加 密 中 ， 根 据 茶 种 任意 的 一 对 一 映射 ， 每 个 字母 被 另 一 个 字母 蔡 代 。 你 提出 的 用 
于 凯撒 加 密 的 启发 中 的 哪 一 种 启发 可 用 于 求解 这 种 替换 加 密 问题 ? 请 给 出 解释 。( 感 谢 Don Morrison 
提出 这 个 问题 。) 


. 对 图 4-30 所 示 的 树 执行 极 小 极 大 过 程 。 
. 对 练习 13 中 的 树 执行 从 左 到 右 的 a-B 剪 枝 。 再 对 同一 棵 树 进行 从 右 到 左 的 a-B 剪 枝 。 讨 论 为 什么 所 发 


生 的 剪 枝 是 不 同 的 ? 


考虑 三 维 的 九宫 游戏 。 讨 论 表示 的 问题 ; 分 析 状 态 空间 的 复杂 度 。 提 出 一 种 玩 这 种 游戏 的 启发 。 
. 对 图 4-23、 图 4-24 和 图 4-25 中 的 九宫 游戏 搜索 进行 a-B 剪 枝 。 分 别 可 以 修剪 掉 多 少 个 叶 结 点 ? 
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17. a) 定义 一 种 启发 式 搜索 与 或 图 的 算法 。 注 意 ， 如 果 要 求解 双亲 结 点 ， 那么 必须 求解 一 个 与 结 点 的 所 有 
后 继 。 因 此 ， 在 计算 到 目标 代价 的 启发 性 估计 时 ， 求 解 一 个 与 结 点 的 代价 的 估计 至 少 等 于 求解 不 同 
分 支 的 估计 的 总 和 。 
b) 用 这 一 算法 搜索 图 4-31 所 示 的 图 。 


A 
. C D 
B ~ 
E F 
Ge H 
3 
1 
h(A) = 1 h(F) = 5 
h(B) = 2 h(G) = 1 
h(C) = 5 h(H) = 3 
h(D) = 3 h() =1 
h(E) = 2 





第 5 章 随机 方法 


上 帝 不 掷 朋 子 …… 
一 一 爱 尔 伯 特 . 爱 因 斯 坦 ( 他 对 有 关 量 子 论 的 可 靠 性 的 回答 ) 
上 帝 不 但 丧 乳 子 ， 而 且 有 时 还 把 它们 投 到 人 们 看 不 到 的 地 方 :……: 
一 一 史蒂芬 .霍金 
几乎 的 不 可 能 也 比 不 大 可 能 的 可 能 要 好 得 多 .……. 
一 一 亚 里 士 多 德 ， 鲍 比 ， 沃 尔 夫 在 《Aces on Bridge》 中 的 引 负 ，2003 


5.0 简介 


第 4 章 介绍 了 启发 式 搜索 方法 ， 它 可 以 对 一 个 没有 精确 解 的 问题 或 者 是 盲目 搜索 整个 状态 空 
间 代 价 太 高 的 领域 进行 问题 求解 。 在 本 章 ， 将 介绍 适 于 解决 上 述 问题 的 随机 方法 学 。 概 率 推理 也 
适合 于 通过 在 信息 库 中 抽样 获取 状态 信息 和 通过 数据 学 习 而 得 出 因果 模型 的 场合 。 

随机 方法 学 的 一 个 重要 的 应 用 领域 是 诊断 推理 。 在 诊断 推理 中 ， 因 果 关 系 并 非 是 以 一 种 完 
全 纯粹 的 确定 性 方式 存在 。 这 点 在 第 2、3、4 章 中 的 基于 知识 的 问题 求解 的 方法 中 可 以 看 到 ， 并 
且 在 第 8 章 中 我 们 还 将 再 次 看 到 。 一 个 诊断 的 场合 通常 只 是 呈现 出 迹象 ， 比 如 发 烧 或 头痛 ， 而 没 
有 给 出 更 进一步 的 原因 分 析 。 实 际 上 ， 一 种 迹象 通常 可 以 表现 出 好 几 个 不 同 的 原因 ， 例 如 ， 发 烧 
可 以 起 因 于 流感 或 传染 。 在 这 些 场合 ， 我 们 将 利用 相关 概率 信息 ， 它 们 不 但 经 常 能 指出 一 个 迹象 
的 可 能 解释 原因 ， 并 且 还 能 将 它们 按 优先 次 序列 出 来 。 

随机 方法 学 的 另 一 个 有 趣 应 用 是 在 赌博 上 。 在 赌博 中 ,通常 是 由 诸如 扔 吉 子 、 打 牌 或 是 转 轮 
盘 赌 轮 这 样 的 随机 事件 来 决定 谁 是 赢家 。 实 际 上 在 18 世纪 ， 帕 斯 卡 〈Pascal) 以 及 后 来 的 拉 普 
拉 斯 (Laplace) 都 一 直 在 研究 概率 演算 ， 而 试图 为 赌博 提供 一 种 数学 依据 成 为 他 们 研究 的 一 个 
极 大 的 激励 。 

最 后 ， 需 要 指出 的 是 ， 正 如 1. 1. 4 节 所 评述 的 ， 在 某 一 情形 下 ， 对 智能 的 考察 表明 人 类 的 决 
断 力 经 常 是 从 复杂 的 、 关 键 性 时 刻 的 、 具 体 化 的 周围 环境 中 显露 出 来 的 ， 不 过 在 这 些 环境 下 ， 完 
全 机 械 的 演算 几乎 是 无 法 定义 的 ， 或 者 即便 能 被 定义 ， 它 也 可 能 无 法 在 一 个 可 用 时 间 框 架 下 计 
算出 结果 。 在 这 些 场合 中 ， 智 能 行为 可 能 最 适合 于 被 看 作为 对 预测 成 本 和 利益 的 随机 反应 。 

接 下 来 ， 我 们 将 描述 几 个 问题 域 。 在 其 中 的 许多 方面 ， 随 机 方法 学 都 将 经 常会 被 用 于 智能 计 
算 的 实现 ， 而 这 些 方面 也 将 是 以 后 几 章 讨论 的 主题 。 

1) 诊断 推理 。 在 医疗 诊断 中 ， 例 如 ， 在 病人 的 一 系列 症状 和 产生 这 些 症状 的 原因 之 间 并 不 
总 是 有 明显 的 因果 关系 。 实 际 上 ， 同 样 一 类 症状 经 常 表现 出 多 个 可 能 的 原因 。 另 外 ， 随 机 模型 在 
涉及 复杂 的 机 械 力 学 的 场合 也 是 同样 重要 的 ， 如 监控 飞机 或 直升机 的 系统 。 基 于 规则 (第 8 章 ) 
和 概率 性 (第 9 章 和 第 13 章 ) 的 系统 都 已 应 用 在 了 这 些 及 其 他 的 一 些 诊断 领域 。 

2) 自然 语言 理解 。 如 果 一 台 计 算 机 要 理解 和 使 用 人 类 的 语言 ， 那 么 它 必须 能 够 表示 人 类 如 
何 使 用 他 们 自己 的 语言 。 可 以 学 习 词 、 表 达 和 比喻 ,而 且 随 着 时 间 的 推移 ， 会 不 断 变化 和 发 展 。 
随机 方法 学 能 支持 对 语言 的 理解 ， 例 如， 一 个 计算 系统 在 一 个 使 用 专用 语言 ( 称 作 语 料 库 语言 
学 ) 的 数据 库 上 进行 训练 。 本 章 的 后 边 以 及 第 15 章 讲解 自然 语言 理解 问题 。 
| 3) 规划 和 调度 。 当 主体 (agent〉 制 定 一 个 规划 ,例如 ， 小 汽车 度假 旅游 ， 往 往 情 况 是 根本 
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没有 一 系列 确定 性 操作 以 确保 整个 计划 的 成 功 。 如 果 汽 车 抛锚 了 ， 如 果 在 某 个 特殊 的 日 子 汽 车 
渡船 停航 ， 如 果 旅 馆 完 全 满 了 ， 即 使 你 之 前 预订 过 ， 试 问 这 些 情况 你 该 怎么 办 ? 特定 的 规划 ,无 
论 对 于 人 还 是 机 器 来 说 ， 都 常用 概率 语言 表示 。 规 划 会 在 8.4 节 介 绍 。 

4) 学 习 。 上 述 的 三 个 针对 随机 方法 技术 的 方面 ， 可 以 看 作为 自主 学 习 领 域 。 许 多 随机 系统 
的 一 个 重要 组 件 是 它们 能 够 选择 场合 及 不 断 学 习 。 一 些 先 进 的 随机 系统 不 仅 能 采样 数据 和 预测 
结果 ， 而 且 能 根据 获得 的 数据 和 结果 ， 学 习 新 的 概率 关系 。 本 书 第 四 部 分 介绍 学 习 理论 ， 利 用 随 
机 方法 进行 学 习 将 在 第 13 章 介绍 。 

随机 方法 学 有 自己 的 基本 计数 性 质 。 在 一 个 特定 环境 下 ， 一 个 事件 的 概率 可 描述 成 此 事件 
能 发 生 的 方式 数 除 以 所 有 可 能 结果 的 总 数 。 因 此 ， 任 投 一 个 骨 子 ， 所 得 点 数 是 偶数 的 概率 就 是 所 
有 偶数 结果 (2、4 或 6) 的 总 数 除 以 所 有 可 能 结果 (1、2、3、4、5 或 6) 的 总 数 ， 即 为 1/2。 
同样 ， 从 一 袋 大 理 石 中 取出 某 一 种 颜色 的 大 理 石 的 概率 ， 就 是 袋 中 该 颜色 的 大 理 石 个 数 除 以 大 
理 石 的 总 个 数 。 在 5. 1 节 ， 要 介绍 基本 的 计数 方法 ， 包 括 求 和 规则 和 乘法 规则 。 因 为 其 在 计算 中 
的 重要 性 ， 我 们 也 介绍 随机 事件 的 排列 和 组 合 。 这 一 节 是 选读 的 ， 对 于 具有 和 良好 离散 数学 知识 背 
景 的 读者 可 以 跳 过 。 

在 5.2 节 ， 介 绍 一 种 采用 随机 方法 学 进行 推理 的 形式 语言 ， 包 括 对 相互 独立 以 及 不 同类 型 的 
随机 变 基 的 定义 。 例 如 ， 对 于 一 个 概率 统计 问题 ， 随 机 变量 可 能 是 布尔 型 一 真 或 假 ， 可 能 是 离 
散 型 ， 像 掷 公平 仍 子 时 从 整数 1 到 6， 也 可 能 是 连续 型 ， 比 如 一 个 在 实数 上 定义 的 函数 。 

在 5.3 节 ， 我 们 将 给 出 贝 叶 斯 定理 ， 它 支持 概率 模型 的 大 部 分 方法 以 及 学 习 理 论 (9.3 节 和 
第 13 章 ) 。 贝 叶 斯 规则 在 具有 先 验 知识 或 有 状态 经 验 的 背景 下 对 解释 新 的 迹象 很 重要 。 在 5.4 
节 ， 我 们 将 给 出 随机 方法 的 两 种 应 用 ， 包 括 概率 有 限 状 态 自动 机 和 根据 抽样 数据 预测 英语 单词 
的 方法 。 

在 第 9、13 章 ， 我 们 会 继续 对 概率 法 和 推理 进行 介绍 ， 包 括 贝 叶 斯 信念 网 络 (Bayesian Belief 
Network ，BBN ) 、 隆 马尔 可 夫 模 型 (Hidden Markov Model，HMM) 和 支持 随机 模型 的 一 阶 表示 系 
统 。 这 些 模型 利用 有 向 无 环 图 (DAG) 的 形式 ， 被 称 为 图 模型 。 在 第 13 章 我 们 介绍 机 器 学 习 的 
随机 方法 。 


5.1 计数 基础 (选读 ) 


随机 方法 学 的 基础 要 能 够 统计 出 某 一 应 用 领域 的 元 素 个 数 。 用 于 收集 和 计数 元 素 的 基础 当 
然 是 集合 论 。 在 集合 论 中 ， 必 须 能 明确 判定 一 个 元 素 是 否 是 一 个 集合 中 的 元 素 。 只 有 确定 这 个 ， 
才 可 能 讨论 对 集合 、 集 合 的 补 的 元 素 个 数 进 行 计数 ， 以 及 对 多 个 集合 求 并 集 和 交集 等 的 方法 。 在 
本 节 中 ， 我 们 将 回顾 这 些 方法 。 


5.1.1 加 法 和 乘法 规则 


有 一 个 集合 A， 集 合 A 的 元 素 个 数 用 1 A1 来 表示 ，1 A1 称 作为 A 的 基数 。 集 合 A 可 能 是 
空 集 (元素 个 数 为 0) 、 有 限 集 、 可 数 的 无 限 集 或 者 是 不 可 数 的 无 限 集 。 每 个 集合 都 是 根据 一 个 
让 人 感 兴趣 的 域 或 者 是 全 集 U 中 的 元 素 进行 定义 的 。 例 如 ， 在 一 个 教室 里 ， 男 同学 所 构成 的 集 
合 是 以 房间 里 所 有 人 为 背景 或 全 集 定 义 的 。 类 似 地 ， 在 掷 仍 子 游戏 中 ， 扔 出 一 个 为 3 的 数 可 视 为 
具有 6 个 可 能 结果 (元素 ) 集合 的 其 中 一 个 元 素 。 

集合 A 的 域 或 全 集 U 也 是 一 个 集合 ， 而 且 利用 全 集 U， 可 以 得 出 集合 A 的 补 集 A。 例 如 ， 
上 面 提 到 的 男 同 学 集合 的 补 集 就 是 教室 里 所 有 女 同 学 构成 的 集合 ， 扔 出 一 个 为 3 的 数 所 构成 的 集 
合 {31 的 补 集 是 11，2，4，5，61 。 如 果 集 合 A 中 的 每 一 个 元 素 都 是 集合 B 中 的 元 素 ， 那 么 称 
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集合 A 是 集合 B 的 子 集 ， 记 为 ASEB。 因 此 ， 显 而 易 见 ， 每 个 集合 都 是 自己 的 子 集 ， 任 何 一 个 集 
合 A 都 是 全 集 的 子 集 ， 空 集 (通常 记 为 {| 或 @) 是 任意 一 个 集合 的 子 集 。 

集合 A 和 日 的 并 集 (AUB) 的 所 有 元 素 ， 要 人 么 在 集合 A 中 要 么 在 集合 B 中 。 两 个 集合 的 并 
集 元 素 个 数 是 这 两 个 集合 各 自 的 元 素 个 数 的 总 和 ， 减 去 这 两 个 集合 中 所 共有 的 元 素 的 个 数 。 训 无 
疑问 ， 只 要 考虑 到 集合 中 每 个 不 同 的 元 素 仅 可 以 计数 一 次 ， 上 述 结论 就 不 难 证 明了 。-_- 般 地 ， 如 果 
两 个 集合 没有 相同 的 元 素 ， 那 么 它们 并 集 的 元 素 个 数 就 等 于 这 两 个 集合 各 自 的 元 素 个 数 的 总 和 。 

集合 A 和 B 的 交集 (AmB) 的 所 有 元 素 为 集合 A 和 B 所 共有 。 下 面 就 刚才 定义 的 几 个 概念 
举 一 些 例子 。 

假设 全 集 U ={0, 1,2, 3,4,5,6,7,8, 9} ， A={1,3,5,7,9}, B=1{0,2,4,6,8}, C={4,5, 
6} ,那么 IAl =5, |B1 =5, 1C1 =3, 1U1=10。 而 且 ACU,BCU,AUB=U,1BI| = IA1,A=B。 此 
外 IAUBI=IAI+1IB1=10， 因 为 AnB={} ; 但 是 IAUCI =1IAl+1Cl -IANCI =7， 因 为 A 
NC ={5}。 

刚刚 已 给 出 了 用 于 合并 两 个 集合 的 加 法 规则 的 主要 组 成 部 分 。 对 任意 两 个 集合 A 和 C, 它 
们 并 集 的 元 素 个 数 按 如 下 式 子 计算 : 


IAUC|I = IAl + 1Cl - IANCI 


注意 ， 上 面 的 式 子 对 于 任意 两 个 集合 都 适用 ， 不 论 它们 是 否 有 共同 的 元 素 。 类 似 地 ， 还 有 适用 于 
三 个 集合 (A，B，C) 的 加 法 规则 ， 同 样 也 不 管 它们 之 间 是 否 有 共同 元 素 : 


IAUBUCI =1Al +1Bl +1C! -IANB!I -IANCI - IBNCI + IANBNCI 


在 本 章 的 前 面 曾 有 过 类 似 的 论证 ， 同 样 可 以 用 来 证 明 该 等 式 。 类 似 的 包含 /排斥 等 式 也 能 用 于 计 
算 三 个 以 上 集合 的 并 集 的 元 素 个 数 。 

用 于 计数 的 乘法 规则 指出 : 如 果 有 两 个 集合 A 和 B, 分 别 有 a 个 和 b 个 元 素 ， 那 么 将 有 ax 
b 种 方式 把 这 两 个 集合 的 元 素 组 合 在 一 起 。 因 为 ， 集 合 A 中 有 a 个 元 素 ， 而 且 每 个 元 素 都 能 与 集 
合 B 中 的 元 素 形成 b 对 匹配 。 乘 法 规则 适用 于 计数 中 的 许多 方法 ， 包 括 集合 的 笛 卡 儿 乘积 及 集 
合 的 排列 与 组 合 问题 。 

集合 A 和 B 的 笛 卡 儿 来 各 用 A xB 来 表示 ， 是 所 有 的 有 序 对 (a,b) 的 集合 ， 其 中 (a, b) 中 的 a 
是 集合 A 中 的 元 素 ，b 是 集合 B 中 的 元 素 。 可 形式 地 表示 为 : 


AxB={(a,b)| (aeA)A(beB)} 
用 计数 的 乘法 规则 表示 则 为 : 
IAxBl=1JAIx1BIl 


笛 卡 儿 乘积 也 可 以 在 任意 多 个 集合 上 定义 。n 个 集合 的 笛 卡 儿 乘 积 将 得 到 一 个 mn 元 组 的 集 
合 , 该 n 元 组 的 第 一 个 分 量 是 第 一 个 集合 中 的 任意 一 个 元 素 ， 第 二 个 分 量 是 第 二 个 集合 中 的 任意 
一 个 元 素 ， 依 此 类 推 。n 元 组 的 总 个 数 是 所 有 集合 的 元 素数 目的 乘积 。 


5. 1.2 排列 与 组 合 


对 一 个 集合 中 的 元 素 进 行 排列 是 将 此 集合 中 的 元 素 按照 某 一 顺序 重 排 。 在 对 这 些 元 素 进 行 
排列 时 ， 每 个 元 素 只 可 能 使 用 一 次 。 一 个 排列 的 例子 是 将 10 本 书 按 某 种 顺序 搁 放 到 一 个 能 容纳 
10 本 书 的 书架 上 ， 另 一 个 排列 的 例子 是 给 6 个 孩子 中 的 4 个 孩子 分 配 特 殊 的 任务 。 

我 们 常常 想 知道 一 个 具有 个 元 素 的 集合 ， 到 底 会 有 多 少 种 (不 同 的 ) 排列 。 我 们 使 用 乘 
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法 规则 来 计算 。 如 果 集合 A 中 有 n 个 元 素 ， 那么 这 些 元 素 的 排列 是 一 个 长 度 为 n 的 序列 。 该 序 
列 的 第 一 个 元 素 是 集合 A 中 n 个 元 素 的 任意 一 个 ， 第 二 个 元 素 是 集合 A 中 剩余 的 (n -1) 个 元 
素 的 任意 一 个 ， 第 三 个 元 素 是 集合 A 中 剩余 的 〈n -2) 个 元 素 的 任意 一 个 ， 依 此 类 推 。 

一 个 元 素 在 排列 序列 中 的 位 置 并 不 重要 ， 也 就 是 说 ， 集 合 的 n 个 元 素 的 任意 一 个 可 首先 放 在 
序列 中 的 任意 一 个 位 置 ， 剩 下 的 〈(n -1) 个 元 素 的 任意 一 个 可 放 在 序列 中 剩 下 的 (n -1) 个 位 
置 的 其 中 一 个 ， 依 此 类 推 。 最 后 ， 由 乘法 规则 可 得 ， 一 个 具有 n 个 元 素 的 集合 有 n! 种 排列 。 

我 们 可 以 限制 一 个 集合 A 的 排列 中 集合 A 的 元 素 个 数 ， 不 过 该 数目 应 该 大 于 等 于 0 且 小 于 
等 于 原 集合 A 的 元 素 总 个 数 n。 例 如 ， 我 们 可 能 想 知道 将 10 本 书 放 到 一 个 一 次 只 能 容纳 6 本 书 
的 书架 上 ， 会 有 多 少 种 不 同 的 顺序 。 如 果 想 计算 从 一 个 具有 n 个 元 素 的 集合 中 一 次 取出 r (0< 
rsn) 个 元 素 会 有 多 少 种 排列 ， 仍 可 以 用 如 前 所 述 的 乘法 规则 ， 只 不 过 现在 每 个 排列 序列 中 只 
有 Tr 个 位 置 空间 : 





nx(n-1)x(n-2)x(n-3)x…x(n-(r-1)) 
换 一 种 方式 ， 还 可 以 将 上 式 写成 : 
nx(n-1) x(n-2)x(n-3) x x(N-(r-1)) x (Nn-r) x(n-r—1) x.… x2 x1 
(Nn-—r) x(n—r-1) x-:.… x2 x1 


或 者 等 价 地 ， 将 从 一 个 有 nn 个 元 素 的 集合 中 一 次 取出 r 个 元 素 的 排列 数 记 为 ,P,， 那 么 这 个 排列 
数 为 : 

nPr = _ nl 

(n -ni 

一 个 具有 n 个 元 素 的 集合 的 组 合 是 n 个 元 素 形成 的 任 一 子 集 。 和 排列 一 样 ， 对 于 一 个 给 定 的 
项 的 集合 ， 我 们 也 常常 想 计算 出 项 所 形成 的 组 合 数 。 因 此 ， 从 一 个 有 n 个 元 素 的 集合 中 取 n 个 元 
素 的 组 合 只 有 一 个 。 核 心思 想 体现 在 组 合 的 数目 是 由 整个 集合 所 产生 的 相应 子 集 个 数 决定 的 。 
在 上 述 书 架 例 子 中 ， 组 合 表示 从 整个 10 本 书 的 集合 中 抽取 6 本 书 放 在 书架 上 形成 的 各 个 不 同 子 
集 。 另 一 个 组 合 的 例子 是 从 15 个 人 中 选 出 4 个 人 ,组 成 一 个 委员 会 ， 每 个 人 要 么 在 委员 会 中 要 
么 不 在 ,并 且 第 一 个 选中 的 和 最 后 一 个 选中 的 委员 会 成 员 没 有 任何 的 差别 。 更 进一步 的 组 合 例 
子 是 一 个 5 张 扑克 有 牌 的 纸牌 游戏 ， 在 该 游戏 中 ， 一手 牌 的 最 终 好 坏 不 取决 于 发 牌 的 顺序 ( 当然 ， 
如 果 是 在 赌博 中 ， 而 且 前 4 张 牌 均 为 正面 的 情况 下 ， 最 后 一 张 牌 至 关 重 要 ; 不 过 本 例 中 发 牌 的 顺 
序 与 牌 的 最 终 好 坏 无 关 ) 。 

从 mn 个 元 素 中 一 次 取 r (0<rs<n) 个 元 素 的 组 合 数 用 ,C, 表示 。 确 定 此 组 合 数 的 直接 方法 
为 ， 先 按照 前 面 介绍 的 方法 ， 求 出 从 n 个 元 素 的 集合 中 取出 了 个 元 素 的 排列 数 ,P,， 然 后 减 去 重 
复 集合 的 数目 。 因 为 任意 一 个 nm 个 元 素 的 集合 的 了 个 元 素 的 子 集 都 有 fl 种 排列 ， 所 以 从 nm 个 元 
素 中 一 次 取 上 个 元 素 的 组 合 数 ， 可 由 从 一 个 具有 mn 个 元 素 的 集合 中 一 次 取出 个 元 素 的 排列 数 除 
以 r! 求 得 。 因 此 有 : 

nCr = nPr = ml 

rT (n-r)!ir! 

上 面 提 到 的 计数 原理 还 有 许多 其 他 变化 ， 其 中 一 些 会 在 本 章 习 题 中 出 现 。 要 想 对 这 些 计数 

方法 有 进一步 的 了 解 ， 可 以 看 看 离散 数学 教程 。 


5.2 概率 论 基础 
在 已 有 5. 1 节 所 提 到 的 计数 规则 基础 的 前 提 下 ， 我 们 现在 可 以 介绍 概率 论 。 首 先 ,在 5.2. 1 
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节 ， 我 们 考虑 一 些 基本 的 定义 ， 比 如 两 个 或 更 多 事件 是 否 相互 独立 。 在 5 2.2 节 ， 我 们 将 示范 如 
何在 特定 的 数据 集合 上 进行 推理 论证 。 这 会 有 助 于 我 们 对 后 面 5.3 节 概 率 推理 和 5.4 节 贝 叶 斯 定 
理 中 所 用 到 的 例子 的 理解 。 


5.2.1 样本 空间 、 概 率 和 独立 性 


下 列 定 义 是 概率 论 的 基础 。 这 些 定义 是 由 法 国 数学 家 拉 普 拉 斯 在 19 世纪 初 (1816 年 ) 首先 
提出 的 。 正 如 本 章 简介 中 提 到 的 ， 当时 的 拉 普 拉 斯 正在 尝试 创造 赌博 领域 的 微 积分 ! 

定义 

基本 事件 

一 个 基本 事件 或 原子 事件 不 能 由 其 他 的 事件 组 成 。 

事件 E 

事件 是 基本 事件 的 集合 。 

样本 空间 S 

一 个 事件 EE 的 所 有 可 能 结果 组 成 的 集合 称 为 样本 空间 S 或 该 事件 的 全 集 。 

概率 pp | 

对 于 一 个 事件 E，S 是 它 的 样本 空间 ，E 的 概率 为 E 中 元 素 个 数 除 以 样本 空间 S 的 所 有 可 能 
结果 数 ， 即 p(E) = 1E1/1S|。 


例如 ， 随 机 掷 两 个 僚 子 ， 所 得 点 数 为 7 或 11 的 概率 是 多 少 ? 首先 确定 问题 的 样本 空间 。 使 
用 计数 的 乘法 原理 ， 每 个 鹏 子 均 有 6 个 不 同 的 点 数 ， 因 此 投 两 个 仍 子 会 有 36 种 不 同 的 结果 。 两 
个 奶子 的 点 数 相 加 和 为 7 的 所 有 情况 如 下 : 1，6; 2, 5; 3, 4; 4, 3; 5, 2 和 6, 1, 一 共有 6 
种 。 挪 两 个 贷 子 ， 所 得 点 数 和 为 7 的 概率 是 6/36 = 1/6。 两 个 伙 子 的 点 数 相 加 和 为 11 有 两 种 情 
况 : 5，6; 6，5。 于 是 ， 掷 出 11 的 概率 为 2/36 = 1/18。 所 以 随机 的 掷 两 个 仍 子 ， 得 到 点 数 为 7 
或 11 的 概率 为 1/6 +1/18， 即 2/9。 

在 上 面 的 例子 中 ， 两 颗 角 子 点 数 之 和 为 7 是 一 个 事件 ， 和 为 11 也 是 一 个 事件 。 基 本 事件 是 
撕 这 两 个 角子 得 到 的 结果 。 因 此 ， 两 颗 山 子 点 数 之 和 为 7 的 这 一 事件 是 由 (1, 6)，(2, 5)， 
(3, 4)，(4, 3),，(5, 2) 和 (6，1) 六 个 基本 事件 构成 。 整 个 样本 空间 是 两 个 山子 的 点 数 所 组 
成 的 有 序 对 集合 ， 是 所 有 36 个 基本 事件 的 并 集 。 而 且 因为 例子 中 的 两 个 事件 之 间 没 有 共同 的 原子 
事件 ， 所 以 它们 是 相互 独立 的 ， 它们 的 和 〔 并 集 ) 的 概率 就 是 各 自 概率 的 和 ， 这 点 很 快 就 会 看 到 。 

再 举 一 个 发 扑克 牌 的 例子 ， 试 问 发 5 张 扑克 牌 ， 其 中 4 张 牌 大 小 相同 的 概率 是 多 少 ? 首先 ， 
该 问题 的 样本 空间 是 从 52 张 牌 中 一 次 取 5 张 牌 的 组 合 。 使 用 乘法 原理 ， 就 可 以 得 到 这 个 4 张 牌 
大 小 相同 的 概率 。 我 们 先 确定 如 果 5 张 牌 中 4 张 具有 相同 大 小 ， 则 一 共有 13 种 选 法 (A，2， 
3，…，10,，J，Q，K) 。 由 于 一 副 牌 中 ， 只 有 4 种 花色 ， 因 此 要 选 4 张大 小 相同 的 牌 就 必须 全 部 
选中 这 4 种 花色 ; 最 后 一 张 牌 将 从 挑 出 4 张 牌 后 剩 下 的 48 张 牌 中 选 出 。 因 此 , 发 5 张 扑 克 牌 ， 
其 中 4 张 牌 是 相同 大 小 的 概率 为 ; 

(13C1 X 4C4 x 48C1) 15zC5 =13x1x4812598 960=0.00024 


从 上 面 给 出 的 定义 中 ， 可 以 得 出 以 下 几 个 结论 : 
第 一 ， 样 本 空间 S 的 任意 一 个 事件 E 的 概率 为 : 
0<p(E)<1, 其 中 EcS 


第 二 ,样本 空间 S 中 的 所 有 可 能 结果 的 概率 和 为 1。 样本 空间 S 的 定义 表明 它 是 所 有 独立 事 
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件 E 的 并 集 ， 知道 了 这 一 点 就 不 难 理解 该 结论 。 
第 三 ， 一 个 事件 的 对 立 事件 的 概率 为 : 


p(E)=(|S|- IED) / Is| = (S| / Is)- (El / ISD) = 1- p(E) 


两 事件 互补 的 关系 是 一 个 很 重要 的 关系 。 利 用 一 个 事件 的 对 立 事件 求解 该 事件 的 概率 常常 更 简 
单 ， 例 如 ， 对 于 随机 产生 的 一 个 n 位 的 二 进 制 数 串 ， 串 中 至 少 有 一 位 为 1 的 概率 是 多 少 ? 我 们 先 
得 出 此 事件 的 对 立 事件 是 串 中 的 每 一 位 都 为 0， 然 后 求 出 该 事件 的 概率 是 2-"。 因 此 ， 原 事件 的 
概率 为 1-2-"。 

最 后 ， 根 据 求 事件 的 对 立 事件 的 概率 公式 ， 可 以 计算 出 不 可 能 事件 的 概率 : 

p()=1- p({D=1-p(S)=1-1=0, 或 

= 人 (jiISIi=o/lsl=0 

两 事件 之 间 还 有 一 个 非常 重要 的 关系 : 两 事件 的 和 (并 集 ) 的 概率 可 由 5.1 节 介 绍 的 计数 
定理 确定 ， 即 对 于 任何 两 个 集合 A 和 B 有 IAUBI=1Al+1BI - IANBI。 由 此 可 以 确定 一 个 样 
本 空间 S 的 任意 两 事件 和 (并 集 ) 的 概率 : 


p(AUB)=IA u BI/ 1S! = (Al + lB| - IA on BD) /ISI 
=|A| / IS| + |B| / IS| - IANn Bl/ {S| = p(A) + p(B) - p(A Nn B) 


当然 ， 利 用 5. 1 节 提 到 的 容 斥 原 理 ， 能 求 出 任意 多 个 事件 和 的 概率 。 

我 们 已 经 给 出 了 一 个 求解 两 个 事件 和 的 概率 的 例子 : 随机 地 折 两 个 角子 ， 求 出 所 得 点 数 和 
为 7 或 11 的 概率 。 在 这 个 例子 中 ， 因 为 这 两 个 事件 是 不 相 容 的 ， 所 以 上 面 的 公式 只 是 用 来 求解 
两 个 不 相 容 事 件 和 的 概率 。 实 际 上 ， 同 时 也 可 以 把 这 个 公式 用 于 更 加 一 般 的 场合 ， 比 如 集合 间 是 
相 容 的 。 假 设 据 两 个 山子 ， 要 计算 这 两 个 散 子 点 数 和 为 8 或 出 现 相同 点 数 的 概率 ， 只 需 简单 地 利 
用 上 述 公 式 即 可 求 出 ， 其 中 这 两 个 事件 有 一 个 共同 的 基本 事件 一 一 (4,4) 。 

接 下 来 ,考虑 两 个 独立 事件 的 概率 。 假 设 4 个 人 在 打牌 ， 每 个 人 都 分 到 同样 多 的 牌 。 如 果 你 
没有 黑 桃 0， 那 么 可 以 推断 其 他 三 人 每 个 人 有 黑 桃 Q 的 概率 是 1/3。 类 似 地 ， 还 可 以 推断 其 他 每 
个 玩家 有 红 桃 A 的 概率 是 1/3 ， 以 及 每 个 玩家 同时 有 这 两 张 牌 的 概率 是 1/3 x 1/3， 即 1/9。 在 本 
情形 下 ， 认 为 这 两 个 事件 是 相互 独立 的 ， 尽 管 目前 看 来 只 是 大 概 正确 。 我 们 用 一 个 定义 来 对 它 进 
行 形式 化 。 

定义 〈 独 立 事件 ) 两 个 事件 A 和 日 是 独立 的 当 且 仅 当 它们 同时 发 生 的 概率 等 于 两 个 事件 
各 自发 生 的 概率 的 乘积 。 该 独立 关系 可 如 下 表示 : 

p(ANB) = p(A) “p(B) 

注 : 对 于 p(smd) ， 有 时 也 用 p(s,d) 来 表示 。5.2.4 节 中 会 介绍 条 件 概率 ， 届 时 进一步 地 图 
明 独 立 的 概念 。 

因为 上 述 对 事件 的 独立 描述 是 一 个 当 且 仅 当 关系 ， 所 以 可 以 通过 得 出 两 个 事件 的 概率 关系 
来 判断 它们 是 否 独立 。 考 虑 随机 产生 的 一 个 四 位 的 二 进 制 数 。 我 们 想 知道 该 中 含有 偶数 个 ! 的 事 
件 与 此 位 串 以 0 结束 的 事件 是 否 独立 。 利 用 乘法 原理 ， 由 于 每 一 位 都 有 两 种 取 值 《0，1)， 将 得 
到 总 共 24 = 16 种 不 同 的 四 位 二 进 制 数 。 

有 8 个 四 位 一 进 制 数 是 以 0 结束 : {1110,，1100，1010,，1000,0010, 0100, 0110，00001; 
同样 也 有 8 个 四 位 二 进 制 数 ， 都 包含 偶数 个 1: 11111，1100，1010，1001，0110，0101 ，0011， 
00001 ， 既 以 0 结束 又 含有 偶数 个 1 的 位 趾 有 四 个 :， {1100，1010，0110，00001。 这 两 个 事件 是 
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独立 的 因为 

p({ 串 有 偶数 个 1 m{ 串 以 0 结尾 }) =p({ 串 有 偶数 个 1}) x p({ 串 以 0 结尾 }) 

4/16 =8/16 x 8/16 =1/4 

再 考虑 随机 产生 的 四 位 二 进 制 数 ， 试 问 位 事 含 有 偶数 个 1 的 事件 与 此 位 囊 以 1 结束 的 事件 是 
否 独立 ?如 果 两 个 或 更 多 的 事件 不 是 独立 的 ， 也 就 是 说 ， 其 中 任 一 事件 的 概率 都 会 影响 其 他 事件 
的 概率 ， 那 么 我 们 需要 用 条 件 概 率 的 概念 来 解决 它们 的 关系 。 我 们 会 在 5.2.4 节 中 学 习 它 。 

在 结束 本 节 之 前 ， 需 要 指出 可 能 存在 其 他 的 支持 概率 论 基 础 的 公理 系统 ， 例 如 ， 对 命题 演算 
(2.1 节 ) 的 一 个 扩展 系统 。 关 于 基于 集合 的 方法 ， 俄 国 数学 家 Kolmogorov 在 1950 年 提出 了 下 列 
定理 的 一 个 变 体 ， 该 变 体 相 当 于 上 述 对 概率 的 定义 。 利 用 这 3 个 定理 ，Kolmogorov 系统 地 构建 了 
整个 概率 论 。 

1) 样本 空间 S 的 事件 EE 的 概率 在 0 和 1 之 间 , 即 0<p(E) <1。 

2) 所 有 事件 E 的 并 集 等 于 S, p(S) =1, p(S) =0。 

3) 事件 A 和 B 的 并 集 的 概率 是 : 


p(AUB) =p(A) + p(B) - p(ANB) 
在 下 一 节 中 ， 给 出 一 个 简单 的 概率 推理 的 例子 。 
5.2.2 概率 推理 : 一 个 道路 /交通 例子 


现在 举 一 个 用 刚刚 介绍 的 思想 进行 推理 的 例子 。 假 定 你 正在 州 际 公路 上 驾驶 ， 因 为 交通 拥 
挤 ， 你 在 逐渐 地 减速 。 你 开始 寻找 导致 减速 的 可 能 原因 。 莫 非 前 方 道路 施工 ? 或 出 现 了 交通 事 
故 ? 不 过 ， 你 所 能 确定 的 只 是 你 在 不 断 地 减速 。 但 等 等 ! 假定 你 还 能 获取 该 州 际 公路 的 统计 数 
字 ， 并 且 通 过 使 用 车 中 的 基于 图 形 用 户 界面 和 推理 的 系统 ， 可 以 把 这 些 统计 数据 下 载 到 汽车 的 
计算 机 中 。 不 过 问题 是 ， 你 拥有 了 这 些 数据 ， 要 如 何 处 理 它们 ? 

对 于 本 实例 ， 假 定 有 三 个 真 或 假 参数 〈5. 2. 4 节 把 该 类 型 参数 定义 为 布尔 随机 变量 ) 。 第 一 ， 
整 条 公路 上 交通 是 否 行驶 缓慢 或 者 你 是 否 在 减速 ， 这 种 情形 用 S 来 表示 ，S 可 取 值 1 或 f 第 二 ， 
是 不 是 发 生 了 交通 事故 ， 这 种 情形 用 A 来 表示 ，A 可 取 值 {或 1; 最 后 一 种 情况 是 此 刻 是 否 有 道 
路 施工 ， 用 C 来 表示 ， 同 样 它 的 取 值 也 是 t+ 或 f。 而 且 ， 利 用 汽车 中 的 数据 下 载 系统 ， 能 表示 出 
该 州 际 公路 交通 系统 的 相互 关系 ， 见 表 5-1。 


表 5-1 交通 缓慢 S， 交 通 事故 A 和 道路 施工 C 的 联合 概率 分 布 ， 
其 中 S、A 和 C 是 5.4.2 节 例 子 中 的 随机 变量 





hh ~ ~ 
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hh 
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表 5-1 的 各 项 几乎 与 2.1 节 所 介绍 的 真 值 表 一 样 ， 除 了 右边 一 列 给 出 了 左边 相应 栏 的 情形 的 
概率 。 因 此 ， 从 表 中 第 3 行 的 数据 ， 我 们 可 以 得 出 整个 交通 行驶 缓慢 以 及 发 生 交 通 事 故 但 无 道路 
施工 的 概率 为 0. 16: 


SnCmA=0.16 


应 该 注意 到 ， 我 们 _ 直 都 是 在 事件 集合 的 背景 下 研究 概率 演算 。 图 5-1 显示 了 如 何 用 传统 的 
文 氏 图 表示 表 5-1 中 的 概率 。 同 样 也 可 以 通过 为 每 一 个 命题 赋予 概率 真 值 来 描述 上 述 情形 ， 在 这 
种 情况 下 ， 用 人 代替， 同时 表 5-1 会 解释 成 命题 合 取 的 真 值 表 。 

进一步 我们 注意 到 表 5-1 中 的 联合 分 布 的 所 有 
可 能 结果 的 概率 和 为 1 0; 这 与 5.2. 1 节 中 给 出 的 概率 
定理 是 一 致 的 。 利 用 表 5-1， 可 计算 出 此 问题 中 的 任何 
一 个 简单 或 复杂 事件 的 概率 。 例 如 ， 要 计算 整个 道路 
交通 行驶 缓慢 S 的 概率 ， 就 是 求 所 有 S =t (tme) 的 
情形 下 的 概率 。 我 们 对 表格 5 - 1 中 前 4 行 的 概率 求 
和 ， 求 得 值 为 0.32， 这 就 是 所 求 的 概率 。 有 时 ， 我 们 
称 上 述 求 得 的 概率 为 S 的 无 条 件 概率 或 边缘 概率 。 访 
处 理 称 为 边缘 化 ， 因 为 除了 交通 行驶 缓慢 这 个 随机 变 
量 以 外 的 所 有 其 他 变量 均 不 考虑 。 说 得 更 精确 些 ， 一 
个 变量 的 分 布 可 以 通过 不 考虑 包含 该 变量 的 联合 分 布 ”四 5"!1 雪 5-1 中 概率 分 布 的 文 氏 图 表 未 ， 
中 的 其 他 所 有 的 变量 来 求 得 。 A 

类 似 地 ， 可 以 计算 出 当 整个 交通 行驶 并 不 缓慢 


(S$) ， 但 前 方 有 道路 施工 《C) (这 在 新 墨西哥 州 十 分 常见 ) 的 概率 。 本 状态 下 概率 为 p(SNC) =t， 
即将 表 5-1 中 的 第 5 行 和 第 6 行 的 两 概率 相 加 ， 得 到 结果 为 0.06。 如 果 考 虑 CmS 状态 的 对 立 


面 ， 使 用 德 . 摩根 律 得 到 p(CUS)。 利 用 5.2.1 节 中 介绍 的 计算 两 集合 并 集 的 概率 公式 ， 可 
以 得 到 : 
0.16 +0.12 +0.01 +0.61 +0.01+0 .03+0.161+0.12-— (0. 16 +0.12) =0.94 


不 难 发 现 ，CmS 和 它 的 补 集 (CUS) 的 概率 和 为 1.0。 
5.2.3 随机 变量 


在 概率 论 中 ， 单 独 的 概率 要 么 是 通过 组 合 的 方法 分 析 计 算 ， 要 么 是 凭 经 验 通过 对 某 一 事件 
的 总 体 抽样 获得 。 例 如 ， 一 个 角子 有 6 个 面 ， 一 枚 硬币 有 两 面 。 当 我 们 说 般 子 或 者 硬币 是 “ 公 
平 ”的 ， 意 味 着 掷 此 山子 或 硬币 所 得 到 的 每 一 个 结果 都 将 等 可 能 地 出 现 。 因 此 ， 很 容易 就 能 确 
定 这 些 随 后 称 之 为 参数 的 问题 情景 的 事件 空间 。 

然而 ， 更 多 有 趣 的 概率 推理 源 于 对 实际 事件 领域 中 情形 的 基于 抽样 的 分 析 。 这 些 情 形 往往 
缺乏 一 个 定义 明确 的 用 来 支持 概率 的 分 析 计算 的 特性 。 还 有 一 些 情 形 ， 即 使 理论 上 可 以 进行 概 
率 计算 分 析 ， 但 却 很 复杂 ， 时 间 和 计算 成 本 根本 不 足以 应 付 概 率 结果 的 确定 性 计算 。 在 这 些 情形 
下 ， 通 常 采用 一 种 基于 经 验 的 抽样 方法 学 。 

最 重要 的 是 ， 假 定 实 验 中 的 所 有 结果 并 非 等 可 能 地 出 现 。 但 是 ， 我 们 仍然 保留 在 上 一 节 得 到 
的 一 些 基 本 公理 或 假定 ， 即 事件 的 概率 处 于 0 和 1 之 间 (包括 0 和 1) ， 所 有 结果 的 概率 和 为 1。 
同样 ， 还 保留 计算 事件 和 的 概率 的 公式 。 为 了 使 演算 精确 ， 下 面 给 出 随机 变量 的 定义 。 
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定义 (随机 变量 ) 随机 变量 是 定义 在 样本 空间 上 的 函数 ， 输 出 结果 通常 是 实数 。 一 个 随 
机 变量 容许 我 们 用 和 事件 空间 相关 的 数值 讨论 概率 ， 不 再 是 使 用 一 个 特定 问题 的 事件 空间 

布尔 随机 变量 是 定义 在 从 样本 空间 到 {true， false} 或 实数 子 集 {0.0,1.0} 上 的 函数 。 一 个 布尔 
随机 变量 有 时 也 称 为 一 次 伯 努 利 试验 。 

离散 随 机 变量 是 定义 在 样本 空间 上 的 函数 ， 其 中 布尔 型 随机 变量 可 看 成 是 它 的 一 个 子 入， 
值 域 是 实数 全 合 [0. 0,1. 0] 的 任 一 个 可 数 子 集 。 

连续 随机 变量 可 在 整个 实数 范围 取 值 。 


看 一 个 离散 随机 变量 的 例子 ， 整个 季节 域 原子 事件 是 {春天 , 夏天 , 秋天 , 冬天 } ，Season 是 定 
义 在 这 个 季节 域 上 的 随机 变量 ,给 (Season = 春天 ) 赋值 为 0.75， 在 此 情形 下 ，Season -春天 的 
概率 即 为 0.75。 另 外 ， 在 该 季节 域 上 还 可 定义 另 一 个 布尔 随机 变量 Season， 相 对 应 地 ， ( Scason 
= 春天 ) 赋值 rue， 映射 为 Season = 春天 的 概率 为 tue (true 即 1) 。 我 们 所 要 考虑 的 大 部 分 概率 
实例 都 属于 离散 随机 变量 。 

另 一 个 使 用 布尔 随机 变量 的 例子 是 计算 对 一 个 公平 硬币 扔 7 次 ， 其 中 5 次 头像 朝 上 的 概率 。 
这 实际 上 就 等 于 7 次 扔 硬币 5 次 头像 朝 上 的 组 合 数 乘 以 每 次 扔 硬币 头像 朝 上 的 概率 (1/2) 的 5 
次 客 青 乘 上 每 次 扔 硬币 头像 不 朝 上 的 概率 (1/2) 的 2 次 客 ， 即 ， 


7Cs x (1/2)* x (1/2)? 


该 扔 硬币 的 情形 就 是 大 家 所 熟悉 的 二 项 式 分 布 的 例子 。 实 际 上 ， 对 于 一 个 n 次 试验 ， 其 中 p 是 每 
次 试验 成 功 的 概率 ， 得 到 Tr 次 成 功 试验 的 概率 可 以 表示 为 : 


nC xp' x(1 -pp)"™? 


对 事件 进行 相关 概率 测量 的 一 个 重要 的 自然 延伸 是 结果 的 预期 成 本 或 盈利 的 概念 。 例 如 ， 
翻 一 张 牌 或 旋转 一 次 轮 盘 赌 轮 ， 可 以 计算 预期 能 获得 的 到 利 。 定 义 一 个 随机 变量 或 事件 的 期 记 
为 ex(E) : 


定义 (数学 期 望 ) 一 个 事件 EE 的 概率 为 p(E)， 它 发 生 所 能 得 到 的 回报 是 r， 事件 不 发 生 
的 成 本 是 C， 概率 为 1-p(E)， 那 么 该 事件 发 生 的 数学 期 望 ex(E) 为 ， 
ex(E) =rxp(E)+ cx(1-p(E)) 


举例 来 说 : 假设 现 有 一 个 公平 的 轮 盘 赌 轮 ， 上 面 有 从 0 到 36 的 整数 ， 这 些 整数 在 轮 的 各 个 
槽 中 等 间隔 排列 。 在 游戏 中 ， 每 个 游戏 者 在 她 选 的 任 一 个 数字 槽 上 放 1 美元 。 旋 转 转 轮 ， 如 果 转 
轮 停 在 她 所 选 的 号 码 上 ， 她 将 赢得 35 美元 ; 否则 ， 将 输 掉 1 美元 。 赢 了 有 35 美元 的 奖励 ， 输 了 
将 失去 1 美元 ， 赢 的 概率 为 1/37， 输 的 概率 为 36/37， 因 此 该 事件 的 数学 期 望 值 ex( E) 是 ， 


ex(E) =35(1/37) +( -1)(36/37) ~ -0. 027 


我 们 发 现 每 转 一 次 轮 盘 ， 每 个 游戏 者 平均 都 要 失去 大 约 0. 03 美元 ! 

在 结束 本 节 前 ， 对 用 于 随机 推理 的 概率 值 的 来 源 进行 简要 讨论 和 概述 。 如 上 所 述 ， 在 迄今 为 
止 所 举 的 大 部 分 例子 中 ， 考 虑 的 都 是 已 知情 形 下 的 概率 ， 像 扔 硬币 或 转 轮 盘 。 一 旦 了 解 了 这 些 情 
形 ， 就 可 以 得 出 与 该 情形 的 概率 空间 相关 的 许多 结论 ， 如 它 的 平均 值 ， 基 于 统计 的 概率 度量 ， 抽 
取 的 样本 值 与 平均 值 的 差 通常 是 如 何 变化 以 及 此 领域 下 相应 随机 变量 的 标准 差 。 

我 们 把 这 些 易于 理解 的 情形 看 成 是 产生 样本 结果 空间 的 参数 方法 。 事 实 上 ， 只 要 在 某 倩 形 
下 ， 能 预先 获得 试验 结果 的 期 望 ， 那 么 参数 法 就 完全 适用 。 我 们 的 任务 就 是 求解 此 情形 所 需要 的 参 
数 。 例 如 ， 扔 硬币 得 到 的 结果 是 服从 二 项 式 分 布 的 ， 然 后 就 可 以 用 结果 的 二 项 式 模型 得 出 期 望 。 
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参数 法 有 许多 优点 。 其 一 是 需要 更 少 的 数据 点 用 来 校准 期 望 结果 ， 因 为 结果 曲线 的 形状 预 
先 已 经 知道 。 其 二 是 ， 预 先 确定 所 有 可 能 结果 或 者 获取 作出 良好 概率 估计 需要 的 训练 数据 往往 
是 可 能 的 。 实 际 上 ， 在 参数 法 中 ， 除 了 计算 期 望 平 均值 和 标准 差 以 外 ， 还 可 以 对 某 一 个 数据 点 是 
否 超出 正常 的 期 望 作出 精确 判断 。 

然而 ， 许 多 〈 如 果 不 是 大 多 数 ) 人 们 感 兴趣 的 问题 并 没有 明确 的 期 望 结 果 。 一 个 例子 是 医 
学 上 的 诊断 推理 。 另 一 个 例子 是 对 一 种 自然 语言 表达 的 使 用 和 解释 。 对 于 自然 语言 的 表达 推理 ， 
通常 是 从 大 量 的 状态 中 取样 ， 如 在 一 个 语言 语料库 中 取样 ， 采 用 非 参数 法 来 实现 。 通 过 分 析 在 报 
纸 中 或 在 会 话 中 用 到 的 语言 例子 ， 能 够 推断 出 这 些 领 域 中 一 些 表达 不 明确 的 意思 。5. 3 节 将 说 明 
分 析 此 可 能 音素 的 方法 学 。 

在 非 参数 的 情况 下 ， 利 用 足够 多 的 数据 点 ， 离 散 型 分 布 常常 可 通过 捅 值 转化 为 连续 型 分 布 。 
然后 ， 新 的 情形 可 以 在 该 连续 型 分 布 的 背景 下 推断 。 非 参数 法 的 一 个 主要 缺点 是 : 由 于 缺少 来 自 
于 先 验 期 望 的 约束 ， 常 常 需要 补偿 大 量 训练 数据 。 在 5. 3 节 ， 我 们 会 给 出 这 类 推理 的 例子 。 


5.2.4 条 件 概率 


到 目前 为 止 ， 所 讨论 的 概率 均 称 为 先 验 概率 ， 因 为 在 获得 与 事件 期 望 结果 相关 的 新 信息 之 
前 ， 它 们 就 已 经 被 计算 出 来 了 。 本 节 将 考虑 一 个 事件 的 条 件 概率 ， 即 此 事件 加 上 一 些 新 信息 或 约 
束 后 的 概率 。 

正如 本 章 前 面 看 到 的 ， 扔 一 个 蜗 子 ， 所 得 点 数 为 2 或 3 的 先 验 概率 是 两 个 单独 的 结果 除 以 所 
有 可 能 的 结果 数 ， 即 2/6。 一 个 人 染 上 某 一 种 疾病 的 先 验 概率 是 染病 人 数 除 以 研究 区 域 的 总 
人 数 。 

举 一 个 条 件 (后 验 ) 概率 的 例子 ,假定 一 个 病人 来 到 某 医生 的 办 公 室 ， 表 现 出 头痛 和 恶心 
的 症状 。 该 医生 非常 有 经 验 ， 事 先 就 知道 所 有 可 能 导致 这 些 症状 的 不 同 疾病 的 期 望 ， 不过， 现在 
他 要 做 的 是 为 病人 开 出 一 个 具体 的 诊断 。 为 了 使 这 些 概念 更 精确 ， 给 出 两 个 重要 的 定义 。 

定义 

先 验 概率 

先 验 概率 通常 是 一 个 事件 的 无 条 件 概 率 。 它 是 基于 导致 该 事件 发 生 与 不 发 生 的 知识 下 得 到 
的 概率 ， 也 就 是 说 ， 是 在 得 到 任何 新 的 证 据 之 前 计算 的 事件 概率 。 一 个 事件 的 先 验 概率 表示 为 : 
p (事件 )。 

后 验 概率 

后 验 概率 通常 是 一 个 事件 的 条 件 概率 。 它 是 在 给 定 一 些 新 证 据 的 情况 下 得 到 的 事件 概率 ， 
一 个 事件 的 后 验 概率 表示 为 : p (事件 | 证 据 )。 

接 下 来 开始 介绍 贝 叶 斯 定理 ， 其 一 般 形 式 会 在 5. 3 节 中 给 出 。 贝 叶 斯 定理 的 核心 思想 是 ， 给 
定 一 个 证 据 ， 该 证 据 由 某 一 假设 导致 的 概率 ， 可 以 看 成 是 由 该 假设 得 出 此 证 据 的 概率 函数 。 用 数 
学 式 表 示 为 p(h1 e) =f(p(e1 h)) 。 通 常 是 通过 等 式 右边 的 值 来 确定 等 式 左边 的 值 ， 因 为 等 式 右 
边 的 值 更 容易 计算 。 

现在 用 一 种 症状 和 一 种 疾病 来 证 明 贝 叶 斯 定理 。 根 据 上 述 定义 ， 假 设 一 个 人 表现 出 某 镍 状 s 
( 自 症 状 集合 S) ， 那 么 他 染 上 疾病 d ( 自 疾病 集合 D) 的 后 验 概率 是 : 

pl(dls) =1dms17 18| 


与 5.1 节 相同 ， 集 合 两 边 的 “1” 表 示 集 合 的 势 或 者 集合 中 包含 元 素 的 个 数 。 等 式 右边 是 既 表 现 
出 症状 s 又 染 上 疾病 d 的 人 数 除 以 表现 出 症状 s 的 总 人 数 。 图 5-2 给 出 了 该 情况 的 文 氏 图 。 因 为 
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用 于 确定 分 子 和 分 母 的 概率 样本 空间 是 相同 的 ， 扩 展 等 式 的 右边 得 到 ; 
pld1 s) =p(dNs)/p(s) 
同样 对 于 p(s1 d) ， 见 图 5-2 也 有 : 
p(s1 d) =p(sNd)/ p(d) 
下 一 步 利 用 p(s1 中 求 得 p(snd) : 
p(sNd) =p(s| d)p(d) 
将 p(d1 s) 等 式 应 用 到 上 面 的 这 个 等 式 中 ， 得 到 一 种 疾病 和 一 种 症状 的 贝 叶 斯 规则 : 


p(sid)p(d) 
p(s) 


因此 ,已 知 某 一 症状 , 染 上 相应 疾病 的 后 验 
概率 为 此 疾病 导致 出 现 该 症状 的 概率 与 该 疾 
病 的 发 病 率 的 乘积 再 除 以 出 现 此 症状 的 概 
率 。 此 公式 会 在 5. 3 节 中 进行 泛 化 。 

下 面 ， 给 出 链 式 规 则 ， 这 是 一 种 应 用 于 
许多 随机 推理 领域 (尤其 是 自然 语言 处 理 领 
域 ) 的 重要 方法 。 刚 刚 得 到 的 等 式 〈 对 任 两 个 集合 A 和 A,): 


P(A,nA:) =P(A, 1 A,)p(A,) =p(A, | Ai)pP(Ai) 
现在 ， 对 该 等 式 泛 化 ， 对 于 多 个 集合 Aj， 有 :; 


p(dls) = 





图 5-2 说 明 p(dl s) 是 p(s1 d) 的 函数 的 文 氏 图 


P(A1 nAzn…nAn) = p(A1) pP(Az1Ai) p(As1Ai N A2) … pA | 四 A 


该 式 子 称 为 链 式 规则 。 
采用 归纳 论证 法 来 证 明 链 式 规则 ， 考 虑 nm 个 集合 的 情况 : 
pP(ATnAzn…nAnnAn)=p(ArnAzn…nAnTD)nmAn) 

根据 两 个 集合 的 交集 规则 : 

p((A NA NNA) NA) =p(AnAnnA ) P(A | AnAn…nA 

可 得 : 

P(A， NA NL…NA,.) =p((A NA, MN.…NA,.) NA,-L1) 

然后 考虑 n -1 个 集合 的 情形 : 如 此 向 下 ， 直 到 得 到 P(A,mA:) ， 对 于 p(A; mA:) ， 我 们 已 经 对 

其 进行 了 证 明 。 

在 结束 本 小 节 之 前 ， 将 根据 链 式 规则 关系 再 给 出 几 个 定义 。 首 先 ， 在 条 件 概率 的 背景 下 重新 
定义 独立 事件 ( 见 5.2.1 节 ); 然后 ， 定 义 条 件 独 立 事件 。 

定义 

独立 事件 

两 个 事件 A 和 BB 是 相互 独立 的 当 且 仅 当 p(ANB) =p(A)p(B)。 当 p(B) 0 时, 可 将 p(AN 
B) =p(A)p(B) 写成 p(A) =P(A1 B)。 该 式 表明 ,B 是 否 为 真 均 不 影响 A 为 真 的 概率 。 
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条 件 独 立 事件 


两 个 事件 A 和 BB 是 相互 条 件 独立 的 当 且 仅 当 对 任意 给 定 的 事件 C， 有 p((ANB)1C) = p(A 
C)P(BIC) 。 


由 于 引入 条 件 独立 事件 定义 ， 一 般 形式 的 链 式 规则 将 得 到 简化 ， 我 们 就 能 以 相对 较 小 的 计 
算 成 本 构造 出 更 大 、 更 复杂 的 随机 系统 。 也 就 是 说 ， 条 件 独立 事件 简化 了 联合 分 布 。 仍 然 引 用 前 
面 提 到 的 交通 问题 的 例子 : 假定 在 减速 的 时 候 ， 我 们 注意 到 公路 旁 的 橙色 控制 桶 。 那 么 ， 我 们 就 
应 能 得 出 ， 我 们 减速 的 原因 更 有 可 能 是 前 方 道路 施工 而 不 是 发 生 了 交通 事故 ， 并 且 栓 色 桶 的 出 
现 也 有 自己 的 概率 测度 。 表 示 交 通 减 速 的 变量 和 表示 橙色 桶 出 现 的 变量 是 条 件 独立 的 ， 因 为 两 
者 都 起 因 于 道路 施工 。 因 此 ， 道 路 施工 变量 把 交通 减速 和 橙色 桶 出 现 两 个 变量 区 分 开 了 。 

由 于 条 件 独 立 获 得 的 统计 效率 ， 所 以 在 构建 相对 较 大 的 随机 计算 系统 过 程 中 ， 一 个 主要 任 
务 是 把 一 个 复杂 问题 分 成 多 个 弱 连 接 的 子 问 题 。 这 些 子 问题 相互 作用 的 关系 是 受 各 种 条 件 分 离 
的 相互 关系 控制 的 。 我 们 将 在 9. 3 节 进 一 步 分 析 此 概念 ， 并 在 那里 将 其 形式 化 定义 为 4 - 可 分 。 

在 5.3 节 ， 将 给 出 贝 叶 斯 定理 的 一 般 形式 ， 并 说 明 在 一 些 复杂 的 场合 ， 贝 叶 斯 推理 需要 的 计 
算 会 非常 难处 理 。5. 4 节 会 给 出 根据 基于 贝 叶 斯 概率 方法 进行 推理 的 例子 。 


5.3 贝 叶 斯 定理 


著名 的 托马斯 - 贝 叶 斯 (Thomas Bayes) 是 一 个 数学 家 和 牧师 。 他 的 著名 定理 在 其 死 后 的 第 
4 年 (1763) 出 版 。 一 篇 名 为 《用 概率 的 原理 解决 问题 》 (Essay towards Solving a Problem in the 
Doctrine of Chances) 的 论文 在 英国 《伦敦 皇家 学 会 的 哲学 会 刊 》 (Philosophical Transactions of the 
Royal Society of London) 上 发 表 。 贝 叶 斯 定理 是 如 此 描述 因果 关系 的 : 通过 理解 结果 ， 可 以 获悉 
导致 它 发 生 的 原因 的 概率 。 因 此 ， 贝 叶 斯 定理 是 非常 重要 的 ,不仅 可 用 于 确定 导致 如 癌症 等 疾病 
发 生 的 原因 ， 而 且 能 用 于 判定 某 个 具体 的 药 疗 法 对 疾病 的 疗效 。 


概述 


概率 论 的 一 个 最 重要 的 结果 是 贝 叶 斯 定理 的 通用 形式 。 首 先 ， 回 顾 一 下 在 5. 2. 4 节 中 得 到 的 
一 个 结果 : 一 种 疾病 和 一 种 症状 的 贝 叶 斯 等 式 。 为 了 能 更 好 地 描述 诊断 的 相互 关系 ， 我 们 对 前 面 
(5.2.4 节 中 的 诊断 例子 ) 用 到 的 变量 重 命名 ，hi 表示 某 一 假设 ，H 是 一 组 假设 ，E 代表 一 组 证 
据 。 而 且 认为 各 个 单独 的 假设 hi 是 互 不 相关 的 ， 所 有 hi 的 并 集 等 于 H。 

p(h 1 E) =(p(E! h) xp(h))/p(E) 

该 等 式 的 意思 是 : 已 知 一 个 证 据 集合 E， 确 定 假设 h 的 概率 。 观 察 此 等 式 : 首先 ， 注 意 到 
等 式 右边 的 分 母 p(E) ， 它 对 假设 集 H 中 的 任 一 个 假设 hi 来 说 ， 非 常 像 一 个 归 一 化 因数 。 在 某 些 
情况 下 ， 给 定 一 组 具体 的 证 据 E， 常 用 贝 叶 斯 定理 来 从 一 组 假设 中 判定 哪个 假设 是 最 有 可 能 的 。 
在 此 情况 下 ， 我 们 还 常 略 去 分 母 p(E) ， 因 为 p( E) 对 于 所 有 假设 hi 来 说 都 是 完全 相同 的 ， 这 样 
能 大 大 节省 相应 的 计算 成 本 。 去 掉 分 母后 ， 我 们 要 建立 假设 的 最 大 后 验 值 的 概念 : 

arg max(h)P(E1 hi) p(hi) 
我 们 把 该 表达 式 读 作 所 有 h 上 的 p(E1 hi) p(hi) 的 最 大 值 。 刚 刚 描述 的 化 简 对 于 诊断 推理 及 自然 
语言 处 理 是 非常 重要 的 。 当 然 ，arg max (也 称 为 最 大 似 然 假设 ) 已 不 再 是 先前 所 定义 的 随机 
变量 。 

接 下 来 ， 考 虑 对 分 母 p(E) 的 计算 。 在 该 情形 中 ,整个 样本 空间 由 一 组 假设 h 所 划分 。 集 合 
的 划分 定义 为 :把 该 集合 分 割 成 若干 个 分 离 的 不 相 重 到 的 子 集 ， 并 且 所 有 这 些 子 集 的 并 集 是 全 
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集 。 假 定 一 组 假设 h 划分 了 该 样本 空间 得 到 : 
p(E) = 2 P(Elh) p(h) 


这 个 关系 并 不 难 证 明 ， 只 要 考虑 这 样 两 个 事实 : 利用 该 组 假设 h 可 形成 证 据 组 E 的 一 个 划分 及 
两 集合 交集 的 概率 规则 。 因 此 : 


E=(ENh,) U(ENh,) UU(ENh,) 


根据 5. 2. 1 节 中 介绍 的 集合 并 集 的 一 般 规则 ， 因 为 该 组 假设 h 形成 了 证 据 组 E 的 一 个 划分 ( 即 
各 hi 之 间 的 交集 为 空 集 ) ， 于 是 : 
P(E)= p((E Nh1) vu (Enh2) Uv (En hn)) 


=p(ENN)+p(ENh2) + +p(EnNnhn)-p(ENnhiNnEnh, n.… Nhn) 
=p(Enhi)+ p(E Nh2) + + p(En hn) 


由 对 P(E) 的 计算 ， 得 到 贝 叶 斯 定理 的 一 般 形式 ， 其 中 该 组 假设 h 划分 了 证 据 组 E: 


p(hilE) = P(EIh) Xp 
> p(EIho x ph 
k=1 
p(h 1 E) : 已 知 证 据 E，h; 的 概率 ， 即 hi 的 后 验 概率 
p(hi) : h, 的 先 验 概率 
p(E1 h) : 当 h 为 真 时 ， 发 生 证 据 E 的 概率 
n; 所 有 可 能 假设 的 个 数 
对 于 任意 假设 ， 其 导致 给 定 证 据 的 概率 已 知 ， 那 么 利用 贝 叶 斯 定理 ， 就 可 以 计算 出 该 证 据 是 由 某 
一 个 假设 hi 导致 的 概率 。 
举例 来 说 ， 假 定 我 们 想 通过 调查 某 地 方 的 地 质 迹象 ， 判 定 此 地 是 否 有 可 能 会 发 现 铜 。 我 们 必 
须 预 先知 道 发 现 每 种 矿物 质 的 概率 及 每 种 矿物 质 发 现时 显现 某 一 迹象 的 概率 。 然 后 使 用 贝 叶 斯 
定理 ， 通 过 在 该 地 发 现 的 迹象 ， 断 定 出 在 此 地 发 现 铜 的 可 能 性 。 此 方法 应 用 于 地 矿 勘 测 系统 
PROSPECTOR 中 ， 该 系统 是 由 斯 坦 福 国际 研究 所 和 斯 坦 福 大 学 开发 的 ， 用 于 矿产 勘探 (如 ， 铜 、 
钼 等 ) 。PROSPECTOR 曾 在 不 少 地 方 发 现 了 有 商业 意义 的 矿床 (Duda et al. 1979a) 。 
下 面 举 一 个 简单 的 数字 示例 来 说 明 贝 叶 斯 定理 。 假 设 你 要 去 购买 一 辆 汽车 ， 你 去 第 1 家 经 销 
商 d, 的 概率 为 0.2， 去 第 2 家 经 销 商 d 的 概率 为 0.4， 由 于 你 目前 只 考虑 3 家 经 销 商 ， 所 以 去 第 
3 家 经 销 商 中 的 概率 为 0.4。 在 经 销 商 d 处 购买 汽车 ai 的 概率 为 0. 2， 在 经 销 商 d, 处 购买 汽车 
ai 的 概率 为 0.4， 在 经 销 商 ds 处 购买 汽车 ai 的 概率 为 0. 3。 现 在 已 知 你 已 经 购买 了 汽车 al ， 试 
问 你 在 经 销 商 ds 处 购买 的 概率 是 多 少 ? 
首先 应 知道 : 要 求解 上 述 概率 ， 实 际 上 是 计算 p( ds | ai ) 。 然 后 ， 利 用 此 例 中 涉及 的 变量 ， 
给 出 用 于 计算 p(ds 1 al ) 的 贝 叶 斯 定理 的 变量 形式 。 
p(dzla1) = (p(aildz) p(d2)) /(p(aild1) p(d1) + p(aildz) p(dz) + p(ai|lda) p(ds)) 
= (0.4) (0.4) / ((0.2) (0.2) + (0.4) (0.4) + (0.4) (0.3)) 
= 0.16 /0.32 
= 10. 
在 使 用 贝 叶 斯 定理 的 时 候 有 两 个 主要 的 约 东 : 首先 ， 与 证 据 相 关 的 各 种 假设 的 概率 及 各 证 
据 之 间 的 概率 关系 都 必须 已 知 。 其 次 ， 必 须 估计 出 或 赁 经验 抽 样 获得 所 有 证 据 与 假设 的 关系 ， 即 
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p(E1 h,) ， 这 在 有 些 场合 是 很 难 做 到 。 回 想 一 下 贝 叶 斯 定理 的 一 般 形式 ， 在 计算 p(E) 时 ， 要 求 
该 组 假设 h 划分 了 证 据 组 E。 通 常 ， 尤 其 是 在 像 医 学 和 自然 语言 处 理 这 样 的 领域 中 ， 预 先 无 法 
假定 一 个 合理 的 划分 。 

然而 有 趣 的 是 ， 在 许多 违背 此 假定 ( 即 支持 每 个 假设 的 证 据 划 分 整个 证 据 集 合 ) 的 情形 中 ， 
贝 叶 斯 公式 仍 能 很 好 地 适用 。 使 用 此 划分 假定 ， 甚 至 在 那些 不 符合 假定 的 场合 中 (使 用 ) ， 被 称 
为 是 使 用 简单 贝 叶 斯 (naive Bayes) 或 贝 叶 斯 分 类 器 (Bayes classifier) 。 关 于 简单 贝 叶 斯 ， 其 假 
定 是 : 对 于 任 一 个 假设 hi: 


pP(EIhi) = I p(ei| hj) 


即 对 于 一 个 具体 给 定 的 假设 ,我 们 认为 各 证 据 间 是 相互 独立 的 。 

给 定 一 证 据 组 E， 使 用 贝 叶 斯 定理 计算 证 据 组 E 是 由 某 个 假设 h 导致 的 概率 p(h 1 E), 我 
们 常 通过 获取 等 式 右边 的 值 来 计算 。 因 为 相 比 于 直接 获取 等 式 左边 的 值 ( 即 直 接 计算 概率 p(hi 
| E) 的 值 ) ， 更 容易 得 到 等 式 右边 的 值 。 举 例 来 说 ， 因 为 患 脑 膜 炎 的 人 数 远 远 少 于 头痛 的 人 数 ， 
所 以 相 比 于 去 计算 那些 头痛 的 人 中 患 脑膜 炎 的 百分比 ， 确 定 脑膜 炎 病 人 中 有 头痛 症状 的 人 数 要 
容易 得 多 。 需 要 注意 的 是 ， 对 于 简单 的 单个 疾病 和 单个 症状 的 例子 ， 并 不 需要 计算 太 多 的 数 。 然 
而 ， 当 考虑 整个 疾病 域 H 中 的 多 种 疾病 h 和 所 有 可 能 症状 集 E 中 的 多 种 症状 en 时 ， 就 麻烦 了 。 
当 分 别 考 虑 H 中 的 每 种 疾病 和 E 中 的 每 种 症状 时 ， 我 们 将 收集 和 综合 m xn 个 量 〈 实 际 上 是 m 
xn 个 后 验 概率 加 m +n 个 先 验 概 率 ) 。 

不 幸 的 是 ， 我 们 的 分 析 还 会 变 得 更 复杂 。 到 目前 为 止 ， 只 是 单独 地 考虑 每 种 症状 el。 在 现实 
情况 中 ， 单 一 症状 是 很 少 的。 例如 ， 当 一 个 医生 在 给 某 病人 看 病 时 ,通常 必须 考虑 多 种 综合 症 
状 。 因 此 ， 需 要 用 到 贝 叶 斯 定理 的 一 种 特殊 形式 ， 该 形式 是 在 多 个 症状 ei 并 集 的 背景 下 考虑 任 
意 单一 的 假设 hi。 | 

pthil e, Ue,U. Uen) =(p(hi)p(e, Ue,U:…Ue, | hi))/p(e, Ue, UU. Ue) 


对 于 一 种 疾病 和 单个 症状 的 情形 ， 我 们 只 需要 m xn 个 量 。 现 在 ， 对 每 一 对 症状 @;、ej; 和 一 
个 具体 的 疾病 假设 h ， 必 须 同时 知道 p(e;Uej1 hi) 和 p(e;Ue)。 如 果 症 状 集 E 中 有 mn 种 症状 ， 
那么 形成 的 症状 对 数目 为 nx (n -1) ， 近 似 等 于 下。 如 果 要 利用 贝 叶 斯 进行 推理 ， 那 会 有 大 约 
m x na 个 条 件 概率 、n? 个 症状 对 的 先 验 概率 和 m 种 疾病 的 先 验 概率 需要 求解 ， 或 者 通俗 地 讲 ， 
要 有 mxne +nm +m 条 信息 待 收集 。 在 一 个 现实 的 医疗 系统 中 ， 它 内 含 200 种 疾病 和 2000 种 症 
状 ， 那么 这 意味 着 需要 收集 的 信息 数 将 超过 800 000 000 条 ! 

然而 ,我 们 可 以 进行 某 些 简化 。 正 如 在 介绍 条 件 无 关 性 时 讨论 的 ,许多 症状 对 是 独立 的 ， 也 
就 是 说 p(ell e) =p(e) 。 当 然 ， 这 意味 着 e 的 概率 是 不 受 。 影响 的 。 例 如 ， 在 医学 上 ， 大 多 数 
症状 是 毫 不 相关 的 ， 比 如 掉头 发 和 肘 痛 。 但 尽管 如 此 ， 对 于 此 医疗 系统 来 说 ， 即 使 其 中 只 有 不 过 
1710 的 症状 不 是 独立 的 ， 那 还 会 有 大 约 80 000 000 条 的 信息 留待 考虑 。 

在 许多 诊断 的 情形 中 ， 也 必须 处 理 一 些 否 定 的 信息 ， 例 如 ， 当 该 病人 没有 某 一 症状 时 ， 如 不 
良 血压 。 需 要 求 出 : 


p(B,) =1-p(e) 和 pl(hl 6) =1-p(h;! e,) 


还 应 注意 到 p(e,1 hn) 和 p(h, 1 ei) 并 不 是 一 样 的 而 且 它们 几乎 总 有 不 同 值 。 这 些 相互 关系 及 避免 
循环 推理 对 贝 叶 斯 信念 网 的 设计 非常 重要 。 贝 叶 斯 信念 网 的 设计 会 在 9. 3. 1 节 中 介绍 。 
此 外 ,还 有 一 个 决定 性 的 问题 使 维护 复杂 的 贝 叶 斯 系统 几乎 是 难以 办 到 的 : 当 假设 和 证 据 
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之 间 的 某 些 新 相互 关系 得 以 发 现时 ， 系 统 中 的 概率 表 需 要 重建 。 而 在 许多 活跃 的 研究 领域 (如 
医学 ) ， 新 的 发 现 会 连续 不 断 地 产生 。 因 此 ， 如 果 要 使 贝 叶 斯 推理 得 到 的 结论 保持 正确 性 ， 就 要 
不 断 地 更 新 概率 表 以 使 系统 有 完全 的 、 最 新 的 概率 ， 包 括 联 合 概率 。 不 过 在 许多 领域 ， 这 样 广泛 
的 数据 收集 和 核对 是 不 可 能 的 ， 或 者 即使 可 能 ， 代 价 也 太 高 。 

无 论 如 何 ， 一 旦 贝 叶 斯 定理 中 的 假定 得 以 满足 ， 那么 贝 叶 斯 就 能 在 数学 上 很 好 地 对 不 确定 
性 进行 完善 的 处 理 。 然 而 ， 大 部 分 的 专家 系统 领域 并 不 满足 这 些 必 要 条 件 而 必须 依赖 启发 式 方 
法 ， 该 知识 将 会 在 第 8 章 中 介绍 。 由 于 复杂 度 问题 ， 我 们 知道 即使 对 于 十 分 强大 的 计算 机 系统 ， 
它 也 无 法 胜任 使 用 完全 的 贝 叶 斯 技术 来 进行 成 功 的 实时 问题 求解 。 我 们 举 两 个 例子 来 结束 本 节 ， 
这 两 个 例子 说 明了 如 何 利用 贝 叶 斯 分 析 法 来 组 织 假设 /证 据 关系 。 但 是 我 们 需要 先 定义 概率 有 限 
状态 自动 机 /接受 器 。 


5.4 随机 方法 学 的 应 用 


你 说 [tow meytow]， 我 说 [tow maatow] …… 
一 一 JRA GERSHWJIN ,“ 让 我 们 把 整个 事情 都 取消 ” 


在 本 节 ， 我 们 给 出 几 个 使 用 概率 测度 来 推理 解释 模糊 信息 的 例子 。 首 先 ， 根 据 3. 1 节 中 的 有 
限 状 态 自动 机 来 定义 一 个 重要 的 建 模 工具 一 一 概率 有 限 状 态 自动 机 。 

定义 

概率 有 限 状 态 自动 机 

概率 有 限 状 态 自 动机 是 一 个 有 限 状 态 自动 机 ， 其 下 一 个 状态 转换 函数 是 在 该 自动 机 所 有 状 
态 全 集 上 的 概率 分 布 。 

概率 有 限 状 态 接受 器 

概率 有 限 状 态 接受 器 是 一 个 接受 器 ， 既 有 一 个 或 多 个 起 始 状态 又 有 一 个 或 多 个 接收 状态 。 


由 此 可 见 ， 这 两 个 定义 是 对 3. 1 节 中 提出 的 有 限 状态 自动 机 和 摩尔 机 的 简单 扩展 。 扩 展 主要 
是 针对 不 确定 性 ， 它 也 使 下 一 个 状态 转换 函数 不 再 是 一 个 严格 意义 上 的 函数 。 也 就 是 说 ， 对 于 问 
题 域 中 的 每 个 输入 值 和 状态 ， 没 有 惟一 的 转换 状态 。 更 确切 地 说 就 是 对 于 任意 状态 ， 其 下 一 个 状 
态 的 函数 都 是 在 其 下 一 所 有 可 能 状态 上 的 一 个 概率 分 布 。 


5.4.1 “tomato” 是 如 何 发 音 的 


图 5-3 给 出 一 个 概率 有 限 状 态 接受 器 ， 能 表示 “tomato” 这 个 单词 的 不 同 发 音 。 图 中 从 起 始 
状态 到 接受 状态 的 一 条 路 径 表示 单词 ttmato 的 一 个 可 接受 发 音 。 强 上 的 数值 代表 说 话 者 使 状态 机 
做 出 转换 的 概率 。 例 如 : 在 所 有 统计 的 说 话 者 当中 ，60% 的 人 在 念 tomato 的 时 候 直接 从 t 音 到 m 
音 ， 而 不 会 在 这 两 个 音 之 间 发 出 其 他 的 音 。 





图 5-3 用 于 单词 “tomato” 发 音 的 概率 有 限 状 态 接受 器 ， 此 图 改编 自 (Jurafsky and Martin 2009 ) 
除了 能 表征 数据 库 中 的 人 们 对 单词 tomato 的 各 种 发 音 方式 以 外 ， 该 模型 还 可 用 于 帮助 解释 某 
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些 模 糊 的 音素 集 。 通 过 观察 这 些 音素 与 某 词 及 相关 词 的 状态 机 中 的 路 径 的 匹配 程度 ， 我 们 就 能 
实现 。 此 外 ， 对 于 一 个 部 分 形成 的 词 ， 该 状态 机 努力 确定 能 最 好 地 补 全 该 词 的 概率 路 径 。 

在 接 下 来 的 例子 中 ， 我 们 考虑 音素 识别 问题 ， 常 称 为 解码 。 此 例子 是 从 Jurafsky 和 Martin 在 
2009 年 出 版 的 一 本 书 中 摘录 的 。 假 定 一 个 音素 识别 算法 已 经 识别 出 音 mi (例如 在 单词 “knee” 
中 有 该 音 ) ， 并 且 在 此 之 前 已 识别 出 词 〈 音 ) 1， 现 在 我 们 想 把 该 ni 音 与 某 个 词 或 某 词 的 开头 关 
联 起 来 。 在 这 种 情况 下 ， 可 以 用 语言 语料库 (Brown 和 Switchboard 语料库 ) 来 帮助 我 们 。 

Brown 语料库 收集 有 上 百 万 的 词 ， 这 些 词 来 自 于 报纸 、 小 说 、 学 术 论文 等 500 篇 文章 ， 它 是 
在 20 世纪 60 年代 由 Brown 大 学 收集 的 〈Kucera and Francis 1967 ，Francis 1979 ) 。Switchboard 语 
料 库 收集 有 140 万 在 语音 交谈 中 用 到 的 词 。 这 两 个 语料库 一 共 包含 大 约 2 500 000 个 词 ， 使 我 们 
可 以 从 读 和 写 的 信息 库 中 抽样 。 

有 很 多 方式 可 用 于 识别 与 ni 音 相关 的 最 有 可 能 的 词 。 首 先 ， 我 们 可 以 确定 以 ni 音 开头 的 最 
常 使 用 的 词 。 表 5-2 给 出 这 些 词 的 初始 使 用 频数 和 它们 发 生 的 概率 ， 即 该 词 的 初始 频数 除 以 
Brown 和 Switchboard 语料库 中 的 总 词 数 。( 此 表 同 样 来 自 于 Jurafsky 和 Martin 在 2009 年 出 版 的 那 本 
书 中 ) 。 由 表 中 的 数据 可 见 ， 词 “the” 的 使 用 频数 最 大 ， 因 此 看 起 来 它 是 匹配 音 ni 的 第 一 选择 。 

表 5-2 ”从 具有 2 500 000 个 词 的 Brown 和 Switchboard 语料库 中 统计 的 含有 
ni 音 的 单词 频数 和 概率 ， 改 编 自 Jurafsky 和 Martin (2009 ) 








单词 频数 概率 
knee 61 0.000 024 
the 114 834 0.046 
neat 338 0.000 13 
need 1417 0.000 56 
new 2625 0.001 


new 一 一 -一 


接 下 来 应 用 上 一 节 提 出 的 贝 叶 斯 定理 的 一 种 形式 来 推理 。 我 们 再 次 使 用 该 公式 的 一 个 简化 
形式 ， 分 析 在 词 1 后 的 那个 与 ni 音 相关 的 可 能 词 。 该 简化 形式 忽略 了 分 母 ; 


p(word | [nil) <p([nil | word) x p(word) 


表 5-3 中 的 计算 结果 是 按照 推荐 的 优先 顺序 从 大 到 小 排列 。 通 过 该 表 ， 我 们 得 出 词 me 中 不 
可 能 含有 发 音 ni, 而 且 可 以 判断 与 音 ni 相关 的 最 有 可 能 的 词 是 new。 但 是 这 两 个 词 的 组 合 (| 
new) 看 起 来 没有 多 大 意义 ， 而 其 他 的 组 合 ， 比 如 1 need 这 两 词组 合 更 有 意义 。 此 情形 下 的 一 
部 分 问题 是 我 们 仍然 在 音 级 上 进行 推理 ， 也 就 是 说 ， 仅 仅 通过 计算 出 概率 P(nil new) 的 值 最 大 
而 判断 最 有 可 能 的 词 是 new。 实 际 上 ， 有 一 种 解决 此 问题 的 简单 方法 ， 就 是 在 语料库 中 寻找 明显 
的 两 个 词 的 组 合 。 遵 循 这 个 推理 原则 ， 我 们 就 能 得 出 1 need 是 要 比 1 new 更 有 可 能 的 连续 字 对 。 
同样 道理 ，! need 组 合 也 要 比 词 1 和 其 他 词 (如 neat、knee ) 的 组 合 更 有 可 能 。 

表 5-3 ”来源 于 Brown 和 Switchpoard 语料库 的 单词 中 含有 ni 发音 
的 概率 ， 改 编 自 Jurafsky 和 Martin (2009) 





word pl[ni] | word) p(word) p(nil | word) x p(word) 
new 0.36 0.001 0.000 36 

neat 0.52 0.000 13 0.000 068 

need 0.11 0.000 $56 0.000 062 

knee 1.0 0.000 024 0.000 024 


the 0.0 0.046 0.0 


0 
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从 语料库 的 两 词 或 三 词组 合 中 导出 概率 的 方法 学 称 为 n 连词 分 析 (n-gram analysis) 。 对 于 两 
个 词 的 组 合 ， 称 为 二 连词 分 析 (bigrams) ， 三 个 词 的 则 称 为 三 连词 分 析 (trigrams)。 通 过 使 用 n 
连词 分 析 而 得 到 的 单词 组 合 概 率 是 很 重要 的 ， 这 点 在 第 15 章 会 再 次 看 到 。 


5.4.2 道路 /交通 例子 的 扩展 


我 们 再 次 给 出 5.2.2 节 中 的 例子 并 对 其 进行 扩展 。 假 如 你 在 州 际 公路 上 驾驶 ， 因 为 交通 拥挤 
你 意识 到 在 逐渐 地 减速 。 你 开始 寻找 导致 减速 的 可 能 解释 : 莫非 是 前 方 道路 施工 ? 或 者 发 生 了 交 
通 事故 ? 或 许 你 还 有 其 他 的 可 能 解释 。 不 过 玫 分 钟 后， 你 发 现 公路 旁 摆 放 有 橙色 桶 开始 切断 外 车 
道 的 交通 。 此 时 ， 你 能 断定 导致 交通 缓慢 的 最 有 可 能 的 解释 是 道路 施工 。 同 时 你 认为 ， 发 生 交通 
事故 的 可 选 假设 基本 可 以 排除 。 类 似 地 ， 如 果 你 已 经 在 前 方 远 处 看 到 有 闪光 灯 ， 就 像 是 从 警车 或 
救护 车 上 发 出 来 的 ， 那 么 在 得 到 这 个 新 的 证 据 后 ， 我 们 能 判断 出 导致 交通 缓慢 的 最 可 能 解释 是 
发 生 了 交通 事故 ， 而 作为 道路 施工 的 假设 则 基本 可 以 排除 。 然 而 ， 我 们 说 某 假设 是 基本 可 排除 
的 ， 并 不 意味 着 该 假设 就 完全 不 可 能 。 更 确切 些 地 说 ， 我 们 只 能 说 在 发 现 新 证 据 的 背景 下 ， 此 假 
设 的 可 能 性 减少 。 

图 5-4 就 我 们 刚刚 所 说 的 给 出 了 一 个 贝 叶 斯 ”道路 施工 
氢 述 。 道 路 施工 与 楼 色 桶 和 交通 差 是 有 关 的 。 同 
样 ， 交 通 事故 与 闪光 灯 和 交通 差 是 相关 的 。 通 过 
分 析 图 5-4， 我 们 构造 出 道路 施工 和 交通 差 的 联 CE WN 
合 概率 分 布 。 首 先 简化 这 两 个 变量 ， 其 取 值 为 真 
(t) 或 假 (f) 。 这 样 ， 我 们 就 得 到 两 个 变量 的 概 ”图 5-4 对 交通 问题 的 可 能 解释 的 贝 叶 斯 表示 
率 分 布 表 ， 如 表 5-4。 注 意 到 如 果 变量 C (道路 施工 ) 为 f， 那 么 出 现 交通 差 的 可 能 性 相对 较 小 ; 
若 C 是 t， 则 交通 差 的 可 能 性 就 较 大 。 同 时 注意 到 ， 在 该 州 际 公路 上 施工 的 概率 ( 即 C = true) 
为 0.5， 出 现 交 通 差 的 概率 ( 即 T= true) 为 0.4 (这 与 新 墨西哥 州 的 道路 状况 很 相似 !)。 


表 5-4 图 5-3 中 交通 差 和 道路 施工 这 两 个 随机 变量 的 联合 概率 分 布 
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我 们 接 下 来 考虑 : 已 知 现在 的 交通 很 差 .那么 该 情形 是 由 于 道路 施工 所 导致 的 概率 ， 即 
p(CIT) 或 p(C=tT=t)。 


p(C1T)=p(C=t,T=t)/(p(C=1t,T=t) + p(C=fT=ti) =0. 3/(0.3 +0.1) =0.75 


该 公路 上 出 现 施工 的 先 验 概 率 是 0.5， 如 果 在 已 知道 路 上 发 生 了 交通 拥挤 的 情形 下 ， 道 路 施 
工 的 概率 将 上 升 为 0.75。 而 且 由 于 橙色 桶 的 出 现 ， 可 以 基本 排除 发 生 交 通 事故 的 假设 ， 那 么 此 
概率 将 进一步 地 升 高 。 

在 对 某 具 体 问 题 应 用 贝 叶 斯 公式 推理 的 时 候 ， 我 们 应 对 其 状态 中 的 任何 一 个 参数 都 有 所 了 
解 。 除 了 这 个 必要 条 件 外 ， 还 必须 处 理 5. 4. 1 节 提 到 的 复杂 度 问 题 。 考 虑 图 5-4 中 所 有 参数 的 联 
合 概率 的 计算 (使 用 链 式 规则 和 变量 的 拓扑 排序 次 序 ) : 


席 5 苹 脱 志 方法 133 





p(C, A,B,T,L) =p(C) xp(AT C) xp(B1 C,A) xp(T1 C,A,B) xp(LI C,A,B,T) 


此 结果 是 对 概率 测度 的 一 种 通用 的 始终 为 真 的 分 解 。 其 中 ， 构 造 一 个 联合 概率 表 的 代价 是 与 其 
涉及 的 参数 数目 成 指数 比 的 。 在 本 情况 中 ， 我 们 需要 一 个 大 小 为 32 (2 ) 的 表 。 当 然 ， 对 于 只 
有 5 个 参数 的 问题 ， 这 是 非常 简单 的 。 但 是 在 一 个 令 人 感 兴趣 的 情形 中 ， 它 所 涉及 的 参数 常常 至 
少 有 30 个 ， 这 也 意味 着 此 情形 下 的 联合 分 布 表 中 将 有 大 约 十 亿 个 元 素 ! 不 过 ， 贝 叶 斯 信念 网 和 
d 一 可 分 将 为 我 们 提供 进一步 处 理 表现 复杂 性 和 计算 复杂 性 的 工具 。 这 些 知识 会 在 9.3 节 中 看 到 。 


5.5 结语 和 参考 文献 


机 会 对 策 的 产生 至 少 可 以 回潮 至 希腊 和 罗马 文明 时 期 。 而 概率 论 的 数学 分 析 直 到 欧洲 文艺 
复兴 时 期 才 开 始 。 正 如 本 章 所 介绍 的 ， 概 率 推理 起 始 于 计数 与 组 合 学 的 确定 原则 。 事 实 上 ， 第 一 
个 组 合 的 机 器 来 自 一 个 叫 Ramon Liull (Ford et al. 1995) 的 西班牙 哲学 家 和 圣 芳 济 会 的 修道 士 ， 
他 制造 了 一 个 可 以 自动 历数 神明 的 品 性 的 装置 ， 用 来 改造 异 教徒 。 第 一 部 概率 出 版 物 《De Ratio- 
ciniis Ludo Aleae》 是 由 基督 徒 惠 更 斯 (1657) 完成 的 。 惠 更 斯 总 结 了 早期 的 Blaise Pascal 用 于 计 
算 概率 和 条 件 概率 的 方法 。Pascal 不 仅 对 博弈 世界 进行 了 “客观 ”分 析 ， 而 且 对 信念 系统 像 上 帝 
的 存在 等 问题 进行 了 “主观 ”分 析 。 

5.2. 1 节 中 介绍 的 概率 的 定义 是 基于 法 国 数学 家 皮尔 西蒙 拉 普 拉 斯 提出 的 形式 论 的 。 拉 普 
拉 斯 在 其 《Theorie Analytique des Probabilitiees》(1816) 一 书 中 给 出 了 这 一 方法 。 拉 普 拉 斯 的 研 
究 是 以 早期 的 Gotlob Leibnitz 与 James Bemoulli 发 表 的 一 些 结果 为 基础 而 开始 的 。 

托马斯 . 贝 叶 斯 是 一 位 数学 家 和 牧师 。 他 的 著名 定理 在 他 死 后 的 1764 年 问世 。 他 的 一 篇 名 
为 《用 概率 的 原理 解决 问题 》 的 论文 在 英国 《伦敦 皇家 学 会 哲学 会 刊 》 上 出 版 。 不 过 具有 讽刺 
意味 的 是 ， 尽 管 贝 叶 斯 定理 是 客观 存在 的 ， 但 在 这 篇 论文 中 却 从 未 被 明确 地 指出 。 此 外 ， 贝 叶 斯 
还 对 统计 度量 的 “现实 性 ”有 过 广泛 的 讨论 。 

贝 叶 斯 的 研究 在 一 定 程 度 上 是 由 对 苏格兰 哲学 家 David Hume 提出 的 暂 学 上 的 怀疑 主义 的 回 
答 所 推动 的 。 休 姆 的 不 考虑 因果 性 的 做 法 ， 破 坏 了 支持 基于 神 迹 的 上 帝 存 在 理由 的 所 有 基础 。 事 
实 上 ,在 给 英国 皇家 学 会 的 一 篇 1763 年 的 论文 中 ， 牧 师 Richard Price 运用 贝 叶 斯 定理 说 明 有 许 
多 充分 的 证 据 可 用 来 支持 解释 在 新 约 圣经 中 描述 的 神 迹 ， 以 驳斥 那些 怀疑 论 者 。 

20 世纪 早期 的 数学 家 ， 包 括 Fisher (1922) 、Popper (1959) 和 Carnap (1948)， 延续 了 对 概 
率 本 质 的 主观 /客观 争论 ， 并 在 此 基础 上 完成 了 现代 概率 论 的 基础 。Kolmogorov (1950， 1965) 对 
概率 推理 的 基础 进行 了 公理 化 〔〈 见 5.2.1 节 )。 

可 以 从 几 个 有 利 方面 来 介绍 概率 推理 论题 。 目 前 两 个 最 流行 的 方法 是 以 命题 演算 和 集合 论 
为 基础 。 对 于 命题 演算 ( 见 2.1 节 )， 我 们 在 【0.0，1. 0] 的 范围 为 命题 分 配 一 个 置信 和 度 ， 该 置 
信和 度 又 被 称 为 概率 真 值 。 这 种 方法 为 命题 演算 的 语义 提供 了 一 个 自然 扩展 。 然而 ， 我 们 更 愿意 选 
择 第 二 种 方法 作为 研究 概率 推理 的 方法 ， 因 为 我 们 觉得 该 方法 更 为 直观 ， 只 要 看 一 下 5.1 节 中 介 
绍 的 有 关 集合 论 的 计数 方法 和 其 他 技术 即 能 得 出 。 在 第 9 章 和 第 13 章 ， 我 们 将 随机 系统 的 表示 
扩展 到 一 阶 的 〈 基 于 变量 的 ) 表示 机 制 。 

员 叶 斯 定理 已 经 为 20 世纪 70 年 代 和 80 年 代 的 几 个 专家 系统 提供 了 基础 ， 包 括 像 在 格拉 斯 
哥 大 学 医院 对 急性 腹痛 所 做 的 广泛 分 析 (de Dombal et al. 1974) 和 来 自 斯 坦 福 大 学 开发 的 矿产 
勘探 专家 系统 一 一 PROSPECTOR (Duda et al 1979a) 。 简 单 的 贝 叶 斯 方法 已 经 用 在 了 许多 分 类 问 
题 上 ， 像 模式 识别 (Duda and Hart 1973) 、 自 然 语 言 处 理 (Mooney 1996) 和 其 他 领域 。 对 于 那 
些 不 满足 贝 叶 斯 定理 的 独立 性 假定 的 情形 ，Domingos 和 Pazzani (1997) 也 为 成 功 使 用 简单 贝 叶 
斯 分 类 器 提供 了 依据 。 
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在 人 工 智 能 领域 ,现在 有 大 量 的 概率 推理 研究 ， 其 中 有 些 将 会 在 第 9、13 和 16 章 介绍 。 不 


确定 推理 现 已 是 AAAI、IJCAL、NIPS 和 UAI 等 人 工 智 能 会 议 上 的 一 个 重要 部 分 。 在 概率 推理 方 
面 有 一 些 优秀 的 介绍 性 的 文章 (Ross 1988 ，DeGroot 1989) ， 而 在 人 工 智能 应 用 中 随机 方法 的 使 
用 也 有 若干 介绍 文章 (Russell and Norvig 2003 ，Jurafsky and Martin 2009, Manning and Schutze 
1999 ) 。 


Sandia 国家 实验 室 的 Dan Pless 为 我 们 这 个 章节 提供 了 通用 的 方法 、 部 分 例子 和 一 些 编辑 上 


的 建议 ， 对 此 我 们 非常 感激 。 
5.6 习题 


1. 


将 一 个 有 6 个 面 的 公平 仍 子 扔 5 次 ，5 次 所 得 的 5 个 般 子 点 数 构成 一 个 序列 ， 试 问 可 能 有 多 少 种 不 同 的 
序列 ? 


.对 单词 MISSISSIPPI 中 的 字母 进行 排列 ， 试 问 有 多 少 种 不 同 的 排列 ， 单 词 ASSOCIATIVE 又 有 多 少 种 ? 
. 假如 一 个 红 中 包含 15 个 球 ， 其 中 8 个 是 红色 ,7 个 是 黑色 。 从 中 取出 5 个 球 ， 


a) 所 有 5 个 球 都 是 红色 ,试问 有 多 少 种 取 法 ? 所 有 5 个 球 都 是 黑色 呢 ? 
b) 其 中 2 个 球 是 红色 另 3 个 是 黑色 ， 有 多 少 种 取 法 ? 
c) 至 少 有 2 个 球 是 黑色 的 取 法 ? 


' 从 5 个 教职员 和 7 个 学 生 中 选 出 3 名 教职员 和 两 名 学 生来 组 成 一 个 委员 会 ， 试 问 有 多 少 种 选 法 ? 
.在 一 份 对 250 名 电视 观众 的 调查 中 ，88 个 人 喜欢 看 新 闻 ，98 人 爱 看 体育 比赛 ， 而 其 他 94 个 人 喜欢 看 喜 


剧 。 并 且 有 33 人 喜欢 看 新 闻 和 体育 比赛 ，31 人 喜欢 看 体育 比赛 和 喜剧 ，35 个 人 喜欢 看 新 闻 和 喜剧 。 另 
外 ， 有 10 个 人 对 新 闻 、 体 育 比 赛 和 喜剧 都 喜欢 看 。 现 在 从 这 些 人 中 随机 地 抽取 出 一 个 人 : 

a) 此 人 喜欢 看 新 闻 但 不 爱 看 体育 比赛 的 概率 是 多 少 ? 

b) 此 人 爱 看 新 闻 或 体育 比赛 但 不 喜欢 看 喜剧 的 概率 是 多 少 ? 

c) 此 人 既 不 喜欢 看 新 闻 又 不 喜欢 看 体育 比赛 的 概率 是 多 少 ? 


一 个 四 位 十 进 制 整数 ， 最 高 位 不 能 为 0， 试 问 : 


a) 该 整数 有 一 位 是 数 3，5 或 7 的 概率 是 多 少 ? 
b) 该 整数 最 高 位 是 3 且 最 低位 为 5 或 其 中 有 一 位 是 数 7 的 概率 是 多 少 ? 


. 扔 两 个 角子 求 : 


a) 所 得 点 数 和 为 4 的 概率 。 
b) 所 得 点 数 和 为 7 或 偶数 的 概率 。 
c) 所 得 点 数 和 大 于 等 于 10 的 概率 。 


. 从 52 张 牌 中 取 一 张 牌 求 : 


a) 此 牌 有 人 物 脸 〈 即 是 J、Q、K 或 A) 的 概率 。 
b) 此 牌 是 Q 或 是 黑 桃 的 概率 。 
c) 此 牌 有 人 物 脸 或 是 梅花 的 概率 。 


. 当 你 在 玩 5 张 牌 的 游戏 时 ， 求 : 


a) 出 现 同 花 牌 的 概率 〈 即 5 张 牌 要 么 都 是 红 桃 ， 要 么 都 是 黑 桃 ， 或 者 都 是 梅花 ， 或 者 都 是 方块 ) 。 

b) 5 张 牌 中 ， 其 中 3 张 牌 的 大 小 相同 且 另 外 2 张 的 大 小 也 相同 的 概率 。 

c) 出 现 同 花 大 顺 的 概率 〈 即 5 张 牌 不 仅 要 人 么 都 是 红 桃 ， 要 么 都 是 黑 桃 ， 或 者 都 是 梅花 ， 或 者 都 是 方块 ， 
而 且 5 张 牌 的 大 小 恰巧 就 是 10，J，Q,，K，A) 。 


10. 求 一 个 随机 变量 的 期 望 ， 实 际 上 就 是 求 该 随机 变量 的 均值 。 例 如 : 对 一 个 仍 子 扔 很 多 次 ， 统 计 我 们 想 


要 的 结果 的 次 数 ， 将 统计 得 到 的 次 数 除 以 扔 山 子 的 总 次 数 ， 所 得 商 即 为 结果 。 

a) 扔 一 个 骨 子 ， 所 得 点 数 的 期 望 是 多 少 ? 

b) 转动 一 个 有 37 (0 ~36) 个 数 的 轮 盘 赌 轮 ， 所 得 数 的 期 望 是 多 少 ? 

c) 从 一 副 牌 中 取 牌 ， 所 得 牌 的 面值 的 期 望 是 多 少 (其 中 认为 A 的 面值 为 1， 其 他 有 人 物 脸 的 牌 的 牌 什 
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为 10)? 


. 假设 我 们 在 玩 一 个 游戏 : 扔 一 个 仍 子 ， 然 后 我 们 就 会 得 到 与 所 投 的 点 数 相 应 的 美元 。 例 如 ， 如 果 扔 到 


3， 那 么 我 们 将 获得 3 美元 。 但 是 ， 在 每 次 扔 蜗 子 之 前 ， 我 们 需要 先 交 出 4 美元 ， 试 问 你 是 否 能 从 该 游 
戏 中 获 利 ? 


- 考虑 一 个 随机 产生 的 四 位 二 进 制 串 。 说 明 这 两 个 情形 : 该 位 串 含 有 偶数 个 1 和 该 位 串 以 1 结束 ， 它 们 


是 否 相 互 独立 ? 


. 已 知 P(A1 B,C) =P(AIC) 和 P(BIA,C) =P(BI C)， 证 明 p(A,BIC) =P(AICP(BIO)。 
. 在 制造 一 个 产品 的 过 程 中 ， 生 产 的 产品 有 85% 是 没 缺 陷 的 。 现 对 该 产品 进行 审查 ， 其 中 有 10% 的 好 产 


品 会 检测 为 有 缺陷 而 不 能 出 三 ， 同 时 会 有 5% 的 有 缺陷 的 产品 未 被 检测 出 而 准予 出 三 。 现 在 已 知 该 产品 
准予 出 三 ， 试 问 它 是 有 缺陷 的 概率 ? 


. 一 次 验 血 对 检测 某 一 疾病 是 90% 的 有 效 ， 而 且 它 检测 错 〈 即 此 人 是 健康 的 但 却 诊断 出 患 该 病 ) 的 概率 


为 3% 。 如 果 验 血 的 人 中 有 10% 的 人 患 有 此 病 ， 试 问 当 某 一 个 人 检测 出 血样 旦 阳性 ， 那 么 他 真 的 患 有 
此 病 的 概率 是 多 少 ? 


. 假设 一 个 汽车 保险 公司 将 驾驶 员 分 成 好 、 一 般 或 差 三 类 。 在 所 有 该 保险 公司 投保 的 驾驶 员 中 ，25% 可 


归 为 好 一 类 ，50% 归 为 一 般 ， 而 剩 下 的 25% 则 归 为 差 的 一 类 。 假 定 这 一 年 中 ,一 名 好 的 驾驶 员 有 5% 的 
机 会 会 出 事故 ， 一 般 的 驾驶 员 有 15% 的 机 会 会 出 事故 ， 而 一 名 差 的 驾驶 员 将 有 25% 的 机 会 会 出 事故 。 
现在 ， 如 果 你 在 这 一 年 发 生 过 事故 ， 那 么 试问 你 是 一 名 好 的 驾驶 员 的 概率 ? 


. 有 三 名 囚犯 A、B 和 C， 他 们 被 告知 明天 会 有 一 个 人 被 处 决 而 另 两 名 囚犯 会 得 到 赦免 ， 并 且 只 有 州长 知 


道 谁 会 被 处 决 。 因 犯 A 于 是 向 门卫 寻求 帮助 ， 他 让 门卫 去 问 问 州 长 到 底 谁 会 被 处 决 ， 然 后 让 他 告诉 办 
犯 B 或 C 他 会 被 歼 免 。 门 卫 昭 他 的 话 做 了 ， 然 后 他 回来 跟 囚 犯 A 说 他 已 经 告诉 办 犯 B 他 (B) 将 被 赦 
免 。 试 问 办 犯 A 将 被 处 决 的 概率 ? 该 信息 对 囚犯 A 有 用 吗 ? 和 向 门卫 求助 前 相 比 ， 内 犯 A 是 否 得 到 更 
多 的 信息 呢 ? 

注 : 此 问题 摘自 Pearl (1988)。 


第 6 章 为 状态 空间 搜索 建立 控制 算法 


如 果 我 们 仔细 地 把 任务 环境 的 影响 从 底层 的 硬件 部 件 和 构造 的 影响 中 分 离 出 来 ， 那 么 适应 
系统 的 真正 的 简单 性 就 会 呈现 出 来 。 因 为 ， 正 如 我 们 看 到 的 ， 我 们 仅 需 要 假定 一 种 非常 简单 的 信 
息 处 理 系统 ， 就 可 以 说 明 人 类 求解 诸如 国际 象棋 、 丈 辑 和 加 密 算 法 等 任务 的 方法 。 信 息 处 理 系统 
在 具体 环境 中 反映 出 的 表面 复杂 性 是 由 多 个 因素 相互 作用 而 导致 的 ， 比 如 系统 中 少数 几 个 基本 
参数 (特别 是 其 内 存 的 特性 ) 与 环境 需求 间 的 矛盾 。 

一 一 A. 纽 厄 维尔 和 H. A. 西蒙 , 《人 类 问题 求解 》(Newell and Simon ，1972 ) 


我 们 称 其 为 开始 的 经 常 就 是 结束 
而 结束 又 是 新 的 开始 。 
因为 我 们 常 是 在 终点 起 步 ……. 
一 一 托马斯 . 斯 特 因 斯， 埃 略 特 , 《四 首 四 重奏 》 


6.0 简介 


到 此 为 止 ， 第 二 部 分 已 经 把 问题 求解 表示 为 对 问题 情景 或 状态 集合 的 搜索 。 第 2 章 介 绍 了 谓 
词 演算 ， 谓词 演算 是 描述 问题 状态 的 中 间 媒 介 ， 也 是 产生 新 状态 的 可 靠 推 理 规则 的 手段 。 第 3 章 
介绍 了 图 ， 用 来 表示 和 连结 问题 状态 。 回 溯 算 法 以 及 深度 优先 、 广 度 优 先 等 算法 可 用 来 进行 这 些 
图 的 搜索 。 第 4 章 介 绍 了 启发 式 搜索 算法 。 第 5 章 给 出 了 世界 的 可 能 性 状态 ， 并 用 随机 推理 来 生 
成 新 状态 。 总 结 一 下 ， 第 二 部 分 介绍 了 以 下 内 容 : 

1) 把 问题 的 解 表示 为 从 起 始 状 态 到 目标 的 一 条 路 径 。 

2) 通过 使 用 搜索 ， 系 统 地 检验 通 往 目 标的 候选 路 径 。 

3) 回潮 或 其 他 某 种 机 制 使 算法 可 以 从 无 法 找到 目标 的 路 径 恢 复 。 

4) 使 用 列表 显 式 记 录 纳 人 考虑 的 状态 。 

a) open 列表 使 算法 可 以 在 必要 时 探索 还 未 试验 过 的 状态 。 
b) 记录 已 访问 过 的 状态 的 closed 列表 使 算法 可 检测 循环 ， 避 免 重 复 没 有 希望 的 路 径 。 

5) open 列表 在 深度 优先 搜索 中 实现 为 堆栈 (stack )， 在 宽度 优先 搜索 中 实现 为 队列 
( queue) ,在 最 佳 优先 搜索 中 实现 为 优先 级 队列 (priority queue) 。 

本 章 介绍 实现 搜索 算法 的 更 多 技术 。 在 6. 1 节 将 介绍 递归 搜索 ， 用 一 种 比 第 3 章 中 更 简洁 自 
然 的 方式 来 实现 深度 、 广 度 和 最 佳 优 先 搜索 。 同 时 ,将 进一步 介绍 通过 使 用 合 一 ( unification ) 
的 递归 ， 来 搜索 谓词 演算 断言 产生 的 状态 空间 ， 并 进一步 探讨 递归 搜索 。 这 种 模式 导向 (pat- 
tern-directed) 的 搜索 算法 是 Prolog ( 见 14. 3 节 ) 和 第 8 章 要 讨论 的 许多 专家 系统 的 基础 。 接 下 
来 在 6. 2 节 中 将 讨论 产生 式 系统 (production system) ， 一 种 用 在 模式 导向 问题 求解 方法 中 的 通用 
体系 结构 ， 它 的 应 用 已 经 非常 广泛 ， 例 如 已 广泛 用 于 为 人 类 问题 求解 方法 建 模 〈 第 16 章 ) 以 及 
其 他 很 多 AI 应 用 ， 包 括 专家 系统 (第 7 章 )。 最 后 ， 在 6.3 节 中 ， 我 们 将 给 出 介绍 另 一 种 AI 问 
题 求解 表示 方法 控制 结构 一 一 黑板 (blackboard ) 。 
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6. 1 基于 递归 的 搜索 (选读 ) 


6.1.1 递归 


在 数学 中 ， 递 归 定 义 是 指 在 定义 中 使 用 了 其 自身 定义 的 一 部 分 。 在 计算 机 科学 中 ， 可 以 用 递 
归来 定义 和 分 析 数 据 结构 和 过 程 。 一 个 递归 过 程 由 以 下 两 部 分 组 成 : 

1) 递归 步骤 : 过 程 调 用 自身 来 重复 一 系列 动作 。 

2) 使 递归 过 程 从 无 限 递归 〈 无 穷 循 环 的 递归 ) 中 停止 的 终止 条 件 。 

这 两 部 分 都 是 非常 关键 的 ， 所 有 递归 定义 和 算法 都 应 该 包含 这 两 部 分 。 递 归 可 以 非常 自然 
地 控制 那些 具有 规则 结构 而 又 不 限定 大 小 的 数据 结构 ， 比 如 列表 、 树 和 图 ， 因 此 递归 特别 适用 于 
状态 空间 搜索 。 

可 以 把 第 3 章 中 的 深度 优先 搜索 算法 直接 翻译 成 递归 形式 ， 这 说 明了 递归 和 和 迭代 的 等 价 性 。 
下 面 这 个 算法 使 用 全 局 变量 closed 和 open 来 维护 状态 列表 : 


function depthsearch; % open & closed global 


begin 
if open is empty 
then return FAIL; 
current_state := the first element of open; 
if current_state is a goal state 
then return SUCCESS 
else 
begin 
open := the tail of open; 
closed := closed with current_state addedi 
for each child of current_state 
if not on closed or open 9% build stack 
then add the child to the front of open 
end; 
depthsearch 9% recur 
end. ” 


可 以 用 几乎 完全 相同 的 算法 来 设计 宽度 优先 搜索 和 最 佳 优先 搜索 ， 即 可 以 把 closed 维护 为 
一 个 全 局 数据 结构 ， 把 open 列表 实现 为 一 个 队列 而 不 是 堆栈 。 

刚才 给 出 的 深度 优先 搜索 并 没有 发 挥 出 递归 的 全 部 威力 。 还 可 以 进一步 简化 这 个 过 程 ， 方 
法 是 使 用 递归 本 身 《而 不 是 显 式 的 open 列表 ) 来 组 织 状态 空间 中 的 状态 和 了 路径。 在 以 下 这 个 版 
本 的 算法 中 ,我 们 使 用 全 局 closed 列表 来 探测 重复 状态 并 防止 循环 ， 而 open 列表 则 隐 含 在 递归 
环境 的 激活 记录 中 。 婚 然 不 能 对 open 列表 进行 显 式 的 操作 ， 广 度 优先 搜索 和 最 佳 优先 搜索 就 不 
再 是 下 列 算 法 的 扩展 算法 。 


function depthsearch (current_state); % closed is global 


begin 
if current_state is a goal 
then return SUCCESS; 
add current_state to closed; 
while current_state has unexamined children 
begin 
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child := next unexamined child; 
if child not member of closed 
then if depthsearch(child) = SUCCESS 
then return SUCCESS 
end; 
return FAIL % search exhausted 


end 

这 种 算法 不 再 把 一 个 状态 的 所 有 孩子 都 放 到 一 个 open 列表 中 ， 而 是 一 次 产生 一 个 孩子 状态 
并 在 产生 这 个 孩子 的 兄弟 状态 之 前 递归 搜索 它 的 后 继 。 注 意 : 这 个 算法 假定 状态 产生 过 程 是 按 
一 定 顺 序 的 。 在 递归 搜索 一 个 孩子 状态 时 ， 如 果 这 个 状态 的 某 个 后 继 是 目标 ， 那 么 递归 调用 返回 
成 功 ， 同 时 算法 忽略 兄弟 结 点 。 如 果 对 孩子 状态 的 递归 调用 没有 找到 目标 ， 那 么 就 产生 下 一 个 兄 
弟 并 搜索 它 的 所 有 后 继 。 通 过 这 种 方式 ， 算 法 按 深度 优先 顺序 搜索 整个 图 。 读 者 应 该 验证 一 下 ， 
它 对 图 的 搜索 顺序 与 3. 2. 3 节 中 深度 优先 搜索 算法 的 顺序 是 否 相 同 。 

省 略 显 式 的 open 列表 是 通过 递归 实现 的 。 在 程序 设计 语言 实现 递归 的 机 制 中 为 每 次 递归 调 
用 建立 了 一 个 激活 记录 (activation record) (Aho and Ullman 1977 ) 。 每 个 激活 记录 存储 了 每 次 过 
程 调用 的 执行 状态 和 局 部 变量 。 当 以 一 个 新 的 状态 递归 调用 这 个 过 程 时 ， 就 会 产生 一 个 新 的 激 
活 记录 把 过 程 的 参数 (这 个 状态 ) 、 所 有 局 部 变量 和 执行 的 当前 状态 存储 起 来 。 在 递归 搜索 算法 
中 ， 当 前 路 径 的 状态 序列 记录 在 递归 调用 的 激活 记录 序列 中 。 每 一 次 调用 的 记录 还 包含 用 来 产 
生 孩 子 状态 的 最 后 一 个 操作 ; 这 人 允许 必要 时 可 以 产生 下 一 个 兄弟 。 

当 一 个 状态 的 所 有 后 继 都 没有 包括 目标 ， 导 致 这 次 递归 调用 失败 时 ， 回 淹 便 会 产生 作用 。 算 
法 向 展开 双亲 结 点 的 过 程 返 回 fail， 后 者 生成 下 一 个 兄弟 状态 并 对 其 进行 递归 。 在 这 种 情况 下 ， 
递归 的 内 部 机 制 承担 了 算法 迭代 版 本 中 open 列表 所 做 的 工作 。 递 归 实 现 允 许 编 程 人 员 把 他 们 的 
注意 力 集中 在 单一 的 状态 和 其 孩子 上 ， 而 不 必 显 式 地 维护 状态 的 open 列表 。 递 归 以 闭合 形式 表 
示 全 局 概念 的 能 力 是 其 强大 性 的 一 个 主要 体现 。 

以 上 两 种 算法 表明 状态 空间 搜索 在 本 质 上 是 一 种 递归 过 程 。 为 了 发 现 从 当前 状态 到 达 目 标 
的 路 径 ， 我 们 可 以 移动 到 一 个 孩子 状态 并 递归 。 如 果 这 个 孩子 状态 没有 产生 目标 ， 那 么 就 按 顺序 
试验 它 的 兄弟 。 递 归 把 一 个 庞大 的 难题 (搜索 整个 空间 ) 分 解 成 了 多 个 更 小 、 更 简单 的 问题 
(产生 一 个 单一 状态 的 孩子 ) 并 对 它们 中 的 每 一 个 小 部 分 (递归 ) 应 用 了 这 种 策略 (递归 )。 然 
后 ,继续 这 个 过 程 一 直 持 续 直 到 发 现 目标 或 遍历 了 整个 空间 。 

在 下 一 节 中 ， 我 们 将 把 这 种 通过 递归 求解 问题 的 方法 扩展 到 一 个 用 于 控制 基于 逻辑 的 问题 
求解 器 的 控制 部 分 方法 的 程序 中 ， 这 个 基于 逻辑 的 问题 求解 方法 使 用 合 一 和 推理 来 产生 并 搜索 
逻辑 关系 空间 。 这 个 算法 支持 多 个 目标 的 “与 ”以 及 从 目标 反 向 追 索 前 提 。 


6.1.2 一 个 递归 搜索 的 例子 : 模式 驱动 推理 


在 本 节 中 ， 我 们 把 递归 搜索 应 用 到 由 逻辑 推理 所 组 成 的 空间 中 ; 结果 得 到 一 种 适用 于 基于 
谓词 演算 的 问题 描述 的 通用 搜索 过 程 。 

假定 我 们 想 要 编写 一 个 算法 判断 一 个 谓词 演算 表达 式 是 否 为 某 个 断言 集合 的 逻辑 结论 。 这 
使 我 们 想起 目标 导向 搜索 : 初始 查询 组 成 了 目标 ， 假 言 推理 定义 了 状态 之 间 的 转换 。 对 于 一 个 给 
定 目标 (比如 p(a) ) ， 算 法 可 以 使 用 合 一 来 选择 结论 与 目标 匹配 的 荀 涵 〈 比 如 9(X) 一 p(X) )。 
因为 这 个 算法 把 蕴涵 当 作 求 解 查询 的 可 能 规则 ， 所 以 经 常 把 蕴涵 简称 为 规则 。 把 目标 和 列 涵 
(也 就 是 规则 ) 的 结论 合 一 并 把 得 到 的 置换 应 用 到 整个 规则 后 ， 这 个 规则 的 前 提 变 成 了 新 的 目标 
(q(a)) 称 其 为 子 目 标 。 然 后 算法 递归 求解 这 个 子 目 标 。 如 果 一 个 子 目标 与 知识 库 中 的 事实 
相 匹配 ， 那 么 搜索 便 终止 ， 从 初始 目标 到 给 定 事实 的 推理 序列 证 明了 原始 目标 的 真实 性 。 
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function pattern_search (current goal); 


begin 
if current_goal is a member of closed % test for loops 
then return FAIL : 
else add current_goal to closed:; 
while there remain in data base unifying facts or rules do 
begin 
case 
current_goal unifies with a fact: 
return SUCCESS; 
current_goal is a conjunction (p 入 ...): 
begin 
for each conjunct do 
call pattern_search on conjunct; 
if pattern_search succeeds for all conjuncts 
then return SUCCESS 
else return FAIL 
end; 
current_goal unifies with rule conclusion (p in q 一 p): 
begin 
apply goal unifying substitutions to premise (q); 
call pattern_search on premise; 
if pattern_search succeeds 
then return SUCCESS 
else return FAIL 
end; 
end; % end case 
end; 
return FAIL 
end. 


在 pattern_search 函数 中 ， 搜 索 是 按 2. 3. 2 节 中 递归 搜索 算法 的 一 个 修改 版 本 进行 的 ， 算 法 
使 用 合 一 来 判断 两 个 表达 式 是 否 匹 配 ， 并 使 用 假 言 推理 来 产生 状态 的 孩子 。 搜 索 的 当前 焦点 表 
示 为 变量 current_goal。 如 果 current_goal 和 事实 匹配 ， 那 么 算法 返回 success。 否 则 算法 试图 
把 current_goal 和 某 个 规则 的 结论 相 匹 配 ， 递 归 地 尝试 求解 规则 的 前 提 。 如 果 current_goal 没有 
与 任何 给 定 的 断言 匹配 ， 那 么 算法 返回 fail。 这 个 算法 也 可 以 处 理 用 合 取 表示 的 目标 ， 因 为 合 取 
经 常 出 现在 规则 的 前 提 中 。 

为 简单 起 见 ， 这 个 算法 没有 考虑 维护 变量 一 致 性 的 问题 ， 即 合 一 产生 的 各 个 变量 置换 间 的 
一 致 性 。 这 在 用 共享 变量 求解 合 取 查询 时 (比如 在 p(X) Aq(X) 中 ) 是 很 重要 的 。 不 但 两 个 合 取 
项 要 成 功 ， 而 且 它 们 必须 是 在 对 X 的 可 合 一 绑 定 上 获得 成 功 〈( 见 2.3.2 节 ) 。 

使 用 合 一 和 假 言 推理 这 些 通 用 方法 的 主要 优势 是 得 到 的 算法 可 以 搜索 任何 由 逻辑 推断 所 组 
成 的 空间 ， 其 中 对 问题 的 指定 性 说 明 可 以 用 谓词 演算 的 断言 来 描述 。 这 样 ， 我 们 便 可 以 用 这 种 手 
段 把 求解 问题 的 知识 从 它 在 计算 机 上 的 控制 和 实现 中 分 离 出 来 。pattern_search 算法 为 我 们 提供 
了 一 种 方法 ， 首 次 实现 了 这 种 知识 和 控制 的 分 离 。 

尽管 搜索 算法 (pattern_search) 的 初始 版 本 定义 了 用 于 谓词 演算 表达 式 的 搜索 算法 的 行 
为 ， 但 是 有 几 个 细微 之 处 还 有 待 完 善 。 这 些 细节 包括 算法 以 什么 样 的 顺序 试验 候选 匹配 以 及 如 
何 恰当 地 处 理 整套 逻辑 操作 符 〈A 、V 和 - ) 。 逻 辑 是 说 明 性 的 ， 并 没有 规定 搜索 策略 ; 它 定 义 
了 一 个 由 可 能 推理 所 组 成 的 空间 ， 但 没有 说 明 问 题 求解 器 如 何 做 出 有 用 的 推理 。 

为 了 使 用 谓词 演算 进行 推理 ， 需 要 一 种 控制 策略 来 系统 地 搜索 空间 ， 以 避免 分 析 毫 无 意义 
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的 路 径 和 陷入 循环 。 像 pattern_search 这 样 的 控制 算法 必须 按 某 种 顺序 来 试验 候选 匹配 。 知 道 了 
这 个 顺序 ,程序 设计 者 就 可 以 通过 对 知识 库 中 规则 的 适当 排序 来 控制 搜索 。 定 义 这 个 顺序 的 一 
个 简单 方式 是 要 求 算法 按 规则 和 事实 在 知识 库 中 出 现 的 顺序 试验 它们 。 

第 二 个 问题 是 在 规则 的 前 提 中 存在 逻辑 连接 词 : 例如 ， 以 下 形式 的 蕴涵 : “pqAr” 或 
“pe-qV (rAs) ”。 和 与 或 图 的 情况 一 样 ， 合 取 操 作 符 表 明 要 使 这 个 前 提 为 真 ， 则 必须 证 明 两 个 
合 取 项 都 为 真 。 此 外 ， 还 必须 用 一 致 的 变量 绑 定 来 求解 表达 式 的 合 取 。 这 就 是 说 ， 要 求解 
p(X) Agq(X) ， 用 置换 {a/X} 解 出 p(X) ， 用 置换 {b/X} 解 出 q(X) 是 不 够 的 。 两 部 分 都 必须 是 使 用 
同一 个 可 以 合 一 的 X 绑 定 来 求解 的 。 另 一 方面 ， 或 操作 符 表 明 只 要 发 现 两 个 表达 式 之 一 为 真 就 
可 以 了 。 搜 索 算 法 必须 考虑 这 一 点 。 

对 算法 的 最 后 一 个 补充 是 使 它 能 够 求解 含有 巡 辑 非 (~ ) 操作 符 的 目标 。pattern_search 通 
过 最 先 求 解 非 的 操作 数 来 处 理 含 有 非 的 目标 。 如 果 这 个 子 目 标 成 立 ， 那 么 pattern_search 返回 
fail。 如 果 这 个 子 目 标 不 成 立 ， 那 么 pattern_search 返回 一 个 空 的 置换 集 ， 表 明成 功 。 注 意 : 即 
使 子 目 标 中 可 能 包含 变量 ， 求 其 非 的 结果 中 也 不 能 包含 任何 置换 。 这 是 因为 只 有 非 (~ ) 的 操 
作 数 不 成 立时 才 成 立 ， 所 以 它 不 可 能 返回 任何 对 操作 数 的 绑 定 。 

最 后 ， 这 个 算法 不 该 返回 Success ， 而 该 返回 解 中 所 包含 的 绑 定 。 下 面 是 pattern_search 的 
完整 版 本 ， 返 回 满足 每 个 子 目 标的 合 一 置换 集合 。 


function pattern_search(current_goal); 


begin 
if current_goal is a member of closed % test for loops 
then return FAIL 
else add current_goal to closed; 
while there remain unifying facts or ruies do 
begin 
case 


current_goal unifies with a fact: 
return unifying substitutions; 
Current_goal is negated (一 p): 
begin 
call pattern_search on p; 
if pattern_search returns FAIL - 
then return {}; % negation is true 
else return FAIL; 
end,; 


current_goal is a conjunction (p 入 ...): 
begin 
for each conjunct do 
begin 
call pattern_search on conjunct; 
if pattern_search returns FAIL 
then return FAIL; 
else apply substitutions to other conjuncts; 
end; 
if pattern_search returns SUCCESS for all conjuncts 
then return composition of unifications; 
else return FAIL; 
end; 
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current_goal is a disjunction (p v ...): 
begin 
repeat for each disjunct 
call pattern_search on disjunct 
until no more disjuncts or SUCCESS: 
if pattern_search returns SUCCESS 
then return substitutions 
else return FAIL; 
end; 


Current_goal unifies with rule conclusion (pinpe oq): 
begin 
apply goal unifying substitutions to premise (9); 
call pattern_search on premise; 
if pattern_search returns SUCCESS 
then return composition of p and q substitutions 
else return FAIL; 


end; 
end; %end case 
end %end while 
return FAIL 


end. 


这 个 用 于 搜索 谓词 演算 规则 和 事实 的 算法 pattern_search 是 Prolog 的 基础 (在 Prolog 中 使 用 
谓词 的 Hom 子 句 形式 ， 见 14. 3 节 ) ,而 且 已 经 应 用 于 很 多 目标 导向 的 专家 系统 外 这 中 ( 见 第 8 
章 ) 。 另 一 种 控制 目标 导向 搜索 的 结构 是 产生 式 系 统 ， 这 部 分 内 容 将 在 下 一 节 中 讨论 。 


6.2 产生 式 系 统 


6.2.1 定义 和 历史 


产生 式 系统 (production system) 是 AI 中 一 种 特别 重要 的 计算 模型 ， 它 不 仅 用 来 实现 搜索 算 
法 ， 而 且 用 来 对 人 类 的 问题 求解 方法 建 模 。 产生 式 系统 为 控制 问题 求解 过 程 提供 了 一 种 面向 模 
式 的 手段 。 一 个 产生 式 系统 由 以 下 三 部 分 构成 : 产生 式 规则 集合 、 工 作 内 看 和 识别 - 动作 控制 
循环 。 

定义 (产生 式 系 统 ) ”一 个 产生 式 系 统 由 以 下 三 部 分 定义 ; 

1) 产生 式 规 则 集合 (the set of production rules) 。 这 些 规则 经 常 简称 为 产生 式 (production ) 。 

一 个 产生 式 就 是 一 个 条 件 - 动作 对 ， 定 义 了 求解 问题 的 一 个 知识 块 。 规 则 的 条 件 部 分 是 一 种 模 
式 ， 用 来 确定 何 时 可 以 把 这 个 规则 应 用 到 问题 实例 。 规 则 的 动作 部 分 定义 了 相关 联 的 求解 问题 
步骤 。 
2) 工作 内 存 (working memory) 包含 了 推理 过 程 中 对 世界 当前 状态 的 描述 。 这 个 描述 就 是 
要 和 产生 式 的 条 件 部 分 匹配 的 模式 ， 以 选择 合适 的 问题 求解 动作 。 当 一 个 规则 的 条 件 要 素 和 工 
作 内 存 的 内 容 相 匹配 时 ， 便 可 以 执行 和 这 个 条 件 相 关联 的 动作 。 设 计 产 生 式 规则 的 动作 时 也 特 
意 将 其 设计 为 用 来 改变 工作 内 存 的 内 容 。 

3) 识别 -动作 循环 (the recognize - act cycle) 。 产 生 式 系统 的 控制 结构 是 很 简单 的 : 先 使 用 
问题 描述 初始 化 工作 内 存 ， 并 把 求解 问题 的 当前 状态 维护 为 工作 内 存 中 的 模式 集合 。 然 后 把 这 
些 模 式 与 产生 式 规则 的 条 件 进行 匹配 ; 条 件 和 工作 内 存 中 的 模式 相 匹配 的 规则 形成 一 个 子 集 ， 
称 为 冲突 集合 〈conflict set) 。 冲 突 集 合 中 的 产生 式 称 为 是 使 能 的 。 然 后 在 冲突 集合 中 选择 一 个 产 
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生 式 (冲突 消解 (conflict resolution) ) ， 并 激发 这 个 产生 式 。 激 发 一 个 规则 就 是 执行 它 的 动作 ， 
修改 工作 内 存 的 内 容 。 在 选择 的 产生 式 规则 激发 之 后 ， 对 修改 后 的 工作 内 存 重 复 这 个 控制 循环 。 
当 工 作 内 存 的 内 容 不 与 任何 规则 的 条 件 匹 配 时 这 个 过 程 终止 。 

冲突 消解 (conflict resolution) 就 是 从 冲突 集合 中 选取 一 个 要 激发 的 规则 。 冲 突 消解 策略 可 
以 很 简单 ， 比 如 选取 条 件 与 世界 状态 匹配 的 第 一 个 规则 ; 它 也 可 以 很 复杂 ， 包 含 复杂 的 启发 性 选 
取 策略 。 后 者 是 在 产生 式 系 统 中 向 搜索 算法 加 入 启发 控制 的 一 种 重要 方式 。 

纯粹 的 产生 式 系统 模型 不 包含 任何 从 搜索 死 端 恢复 的 机 制 ; 它 只 是 不 断 执 行 识别 - 动作 循 
环 直 到 不 再 有 任何 已 经 使 能 的 产生 式 便 停止 。 在 实践 中 ， 许 多 产生 式 系 统 的 实现 允许 在 这 种 情 
况 下 回溯 到 工作 内 存 的 前 一 个 状态 。 


图 6-1 画 出 了 产生 式 系统 的 示意 图 。 

图 6-2 给 出 了 一 个 非常 简单 的 产生 式 系统 例子 的 执行 情况 。 这 是 一 个 产生 式 系统 程序 ， 它 对 由 
字母 a、b 和 上 组 成 的 字符 串 进 行 了 排序 。 在 这 个 例子 中 ， 如 果 一 个 产生 式 的 条 件 和 工作 内 存 中 字 
符 串 的 一 部 分 匹配 ， 那 么 它 便 得 以 使 能 。 当 一 个 规则 激发 时 ， 和 这 个 规则 的 条 件 匹配 的 子 串 替 代为 
这 个 规则 的 右边 部 分 。 产 生 式 系统 是 一 种 通用 的 计算 模型 ， 可 以 通过 编程 用 它 来 完成 在 计算 机 上 可 
以 做 的 任何 事情 。 然 而 ， 它 的 真正 强大 之 处 是 为 基于 知识 的 系统 提供 了 一 种 重要 的 体系 结构 。 


产生 式 集合 : 


1. ba 一 ab 
2. ca 一 ac 
3. cb 一 bc 





迭代 工作 内 存 冲突 集合 “激发 的 规则 


工作 内 存 
中 的 模式 








图 6-1 产生 式 系 统 图 6-2 一 个 简单 产生 式 系 统 的 执行 过 程 
注 : 重复 这 个 循环 ， 直 到 工作 内 存 中 的 规则 
不 再 与 任何 产生 式 的 条 件 匹配 


这 种 基于 产生 式 的 计算 设计 思想 起 源 于 Post (1943) ，Post 最 早 把 产生 式 规则 模型 作为 正式 
的 计算 理论 提出 。 这 一 理论 的 主要 概念 是 一 系列 用 于 字符 串 的 重 写 规 则 (在 很 多 方面 都 很 像 例 
3 3.6 中 的 语法 解析 规则 ) 。 它 也 与 马尔 可 夫 算法 (Markov 1954) 所 用 的 方法 有 着 非常 密切 的 关 
系 ， 而 且 就 像 马 尔 可 夫 算 法 一 样 ， 其 威力 可 以 与 图 灵机 相提并论 。 

产生 式 规则 的 一 个 有 趣 应 用 是 用 它 来 对 人 类 认 知 建 模 ， 在 20 世纪 60 年 代 和 70 年 代 ，Newell 
和 Simon 在 卡 内 基 工 学 院 (现在 的 卡 内 基 - 梅 隆 大 学 ) 进行 了 这 项 研究 。 很 大 程度 上 来 说 ， 是 他 
们 开发 的 程序 〈 例 如 通用 问题 求解 器 (Ceneral Problem Solver) ) 葛 定 了 产生 式 系统 在 AI 中 的 重 
要 地 位 。 在 这 项 研究 中 ， 他 们 观察 并 记录 了 人 类 在 求解 各 种 问题 时 的 行为 ， 比 如 求解 谓词 演算 这 
样 的 逻辑 问题 和 国际 象棋 这 样 的 博弈 问题 。 他 们 把 接受 实验 者 的 protocol (行为 模式 ， 包 括 对 问 
题 求解 过 程 、 眼 睛 转动 等 的 原始 描述 ) 记录 下 来 ， 并 把 这 些 记录 分 解 为 一 些 基本 要 素 。 把 这 些 
要 素 当 作 接受 实验 者 求解 问题 知识 的 基本 二 进 制 位 ， 并 按照 图 〈 称 为 问题 行为 图 〈Froblem be- 
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havior graph ) ) 搜索 的 方式 来 编写 二 进 制 位 。 然 后 使 用 产生 式 系 统 来 实现 对 这 种 图 的 搜索 。 

这 些 产 生 式 规 则 表示 了 一 系列 接受 实验 者 求解 问题 的 技巧 。 目 前 注意 的 焦点 表示 为 世界 的 
当前 状态 。 在 产生 式 系统 的 执行 过 程 中 ， 问 题 求解 器 把 当前 焦点 与 产生 式 规 则 进行 匹配 ， 然 后 用 
匹配 的 规则 来 修改 当前 状态 ,使 焦点 转移 到 另 一 个 编码 为 产生 式 的 技巧 ， 并 这 样 继续 下 去 。 

有 必要 指出 的 是 ， 在 这 项 研究 中 Newell 和 Simon 使 用 了 产生 式 系 统 ， 不 仅 把 它 作 为 一 种 实现 
图 搜索 的 工具 ， 而 且 还 把 它 作 为 人 类 求解 问题 的 实际 模型 。 产 生 式 对 应 于 人 类 长 期 记忆 中 的 问 
题 求解 技能 。 和 长 期 记忆 中 的 技能 一 样 ， 这 些 产生 式 是 不 随 系统 的 执行 而 改变 的 ; 它们 会 被 特定 
问题 实例 的 “模式 ”所 调用 ， 而 且 不 需 对 以 前 存在 的 知识 “重新 编码 ”就 可 以 加 入 新 的 技能 。 
产生 式 系 统 的 工作 内 存 对 应 于 短期 记忆 或 人 类 当前 注意 的 焦点 ， 而 且 产 生 式 系统 的 工作 内 存 还 
描述 了 求解 一 个 问题 实例 的 当前 阶段 。 在 问题 已 经 得 以 解决 后 ， 通 常 不 保留 工作 内 存 中 的 内 容 。 

这 些 产 生 式 系 统 技 术 的 起 源 在 Newell 和 Simon 所 著 的 《人 类 问题 求解 》 (1972) 和 Luger 
(1978，1994) 中 有 进一步 的 介绍 。Newell 和 Simon 等 人 还 用 产生 式 规 则 对 初学 者 和 专家 在 求解 
各 种 问题 〈 比 如 代数 应 用 题 和 物理 问题 ) 时 的 差异 进行 了 建 模 (Larkin et al. 1980; Simon and Si- 
mon 1978 ) 。 产 生 式 系统 还 是 研究 人 类 和 计算 机 学 习 的 基础 (Klahr et al 1987); ACT* (Ander- 
son 1983b) 和 SOAR (Newell 1990) 就 是 以 这 种 方式 建立 的 。 

产生 式 系 统 提供 了 一 种 模型 ， 利 用 这 个 模型 不 仅 可 以 把 人 类 的 专业 技能 以 规则 的 形式 编码 ， 
而 且 还 可 以 设计 模式 驱动 的 搜索 算法 ， 而 这 些 恰恰 是 设计 基于 规则 的 专家 系统 的 核心 任务 。 在 
专家 系统 中 ， 产 生 式 系统 未 必 就 一 定 是 用 来 对 人 类 的 求解 问题 行为 建 模 ; 然而 ， 产 生 式 系统 所 具 
有 的 对 人 类 求解 问题 建 模 的 能 力 (规则 的 模式 化 、 知 识 和 控制 的 分 离 、 工 作 内 存 和 求解 问题 知 
识 的 分 离 ) 使 它 成 为 设计 和 建立 专家 系统 ( 见 8.1 节 和 8.2 节 ) 的 理想 工具 。 

在 卡 内 基 " 梅 隆 大 学 进行 的 对 产生 式 系 统 语言 的 研究 产生 了 一 类 非常 重要 的 AI 语言 。 这 就 
是 OPS 语言 ; OPS 代表 公认 产生 式 系 统 (0fficia] Production System ) 。 尽 管 OPS 最 初 是 为 对 人 类 
求解 问题 方法 建 模 而 设计 的 ， 但 已 经 证 明 它 对 设计 专家 系统 程序 和 其 他 AI 应 用 也 非常 有 效 。 
VAX 的 配置 系统 XCON 以 及 数字 设备 公司 (DEC) 开发 的 其 他 很 多 专家 系统 就 是 用 OPS5 实现 的 
(McDermott 1981 ，1982; Soloway et al. 1987; Barker and O'Connor 1989 ) 。 在 很 多 地 方 可 以 得 到 供 
PC 和 工作 站 使 用 的 OPS 解释 程序 。CLIPS 是 美国 航空 航天 局 (NASA) 用 C 语言 实现 的 面向 对 象 
产生 式 系统 ，CLIPS 的 应 用 很 广 。JESS 是 由 Sandia 国家 实验 室 用 Java 实现 的 一 个 产生 式 系 统 。 

在 下 一 节 中 将 给 出 一 些 例子 ， 用 来 说 明 如 何 应 用 产生 式 系统 来 求解 不 同 的 搜索 问题 。 


6.2.2 产生 式 系统 的 例子 


例 6.2.1 再 谈 8 格 拼 图 游戏 问题 


第 3 章 介绍 的 8 格 拼图 游戏 问题 产生 的 搜索 空间 ， 不 仅 其 复杂 度 足 以 引起 我 们 的 兴趣 ， 而 且 
其 空间 较 小 足以 驾驭 ， 所 以 它 经 常 被 用 来 试验 不 同 的 搜索 策略 ， 比 如 深度 优先 搜索 、 宽 度 优先 搜 
索 以 及 第 4 章 介绍 的 启发 式 搜索 。 现 在 我 们 用 产生 式 系 统 来 求解 这 个 问题 。 . 

我 们 仍 采 用 前 面 章 节 的 做 法 ， 把 不 同 标号 将 牌 的 移动 看 成 “空位 的 移动 "， 这 样 可 以 使 表述 
大 大 简化 。 图 6-3 中 给 出 了 用 产生 式 定义 的 合法 移动 。 当 然 ， 只 有 当空 位 在 正中 央 时 这 4 种 移动 
才 都 适用 ; 当空 位 在 一 角 时 仅 有 两 种 移动 适用 。 如 果 现 在 确定 了 8 个 将 牌 的 开始 状态 和 结束 状 
态 ， 那 么 就 可 以 建立 起 针对 该 问题 搜索 空间 的 产生 式 系统 。 

对 该 问题 的 一 种 实现 可 以 是 这 样 的 : 用 一 个 包含 9 个 参数 (对 应 8 张 将 牌 和 一 个 空位 的 位 
置 ) 的 状态 谓词 表示 每 一 种 棋盘 布局 ， 把 规则 写 为 蕴涵 的 形式 ， 利 用 其 前 提 检 查 执行 该 规则 所 
需 的 条 件 。 或 者 ， 也 可 以 使 用 数组 或 列表 结构 来 表示 棋盘 状态 。 
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一 
起 始 状态 : [2[ 8[3] 目标 状态 : [1T2T 3] 
1 [els 加 加 
5 716|5 
产生 式 集合 : 
条 件 动作 
目标 状态 在 工作 内 存 中 。 _、 终止 
空位 不 在 左 侧 的 边 上 ”向 左 移动 空位 
空位 不 在 敬 上 的 边 上 。 ”下 ”向 上 移动 空位 
空位 不 在 右 侧 的 边 上 一 ”向 右 移动 空位 
空位 不 在 车 下 的 边 上 ”一 ”向 下 移动 空位 
工作 内 存 中 是 目前 的 棋盘 状态 和 目标 状态 。 
控制 制度 : 
1) 依次 试验 每 个 产生 式 。 
2 ) 不 允许 循环 . 
|3) 当 发 现 目标 时 停止， | 





图 6-3 用 产生 式 系统 求解 8 格 拼图 游戏 问题 
图 6-4 给 出 了 求解 图 6-3 定义 的 搜索 空间 的 一 个 例子 ， 这 个 例子 摘自 Nilsson (1980) 。 因 为 
如 果 不 加 限制 ， 那 么 解 路 径 可 能 走 得 非常 深 , 所 以 向 搜索 中 加 入 了 深度 限制 (加 入 深度 限制 的 
一 个 简单 途径 是 跟踪 当前 路 径 的 长 度 / 深 度 ， 如 果 超 过 了 深度 限制 就 强制 搜索 回 湖 ) 。 图 6-4 所 不 
情况 使 用 的 深度 限制 是 5。 注意 : 工作 内 存 中 的 可 能 状态 数量 随 搜索 深度 呈 指 数 增长 。 






[2] e813] 
[1[els]| 
日 
[21e]3] [21eT3| [2[e]3] 
lels| [4| Hel4| 
71s) [7] els] [15] 
[2 | aj3] [21 13] [21e13] 
[efs] [| [4 
LLL7L5| els] L71514] 
[sla| [218]3] [els| [21sls) [3|] [213 [2 [zlsTsl [zlal3] [2]e] 
[21els] [6 本 4| [zs 1 8| 口 8|4| [3 lsl Cs| blels) 
面 号 日 [Hl7ls} Lrlels] [els] zleisl [ris Dj Llsi4) 
E35| G3] [zfsls] RH eB anoleange 96096 9 
[zlels!l [sfeis] [els| [e177 [rela lels|1[elllaTellr [slel tel 
CHE ED i Ciels 训 oT ls 


na Bog Bane _ a0 aonpneonaaoan Ononnananananaea 
ggag doooaocaoaonoaonuoornanon no ondg SR 
Efe Ts tzTslt TTsl tz Ts: 7 Mi si Ts Mitelsllelslel lslels mM] els MM els 
图 6-4 产生 式 系统 对 8 格 拼图 游戏 问题 空间 的 搜索 
注 ; 这 个 系统 采用 循环 探测 ， 并 且 搜 索 的 深度 限制 不 超过 5。 搞 自 Nilsson (1971) 





例 6.2.2 骑士 周游 问题 
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在 国际 象棋 中 ， 骑 士 可 以 横向 或 纵向 移动 两 个 方 格 后 再 沿 垂直 方向 移动 一 个 方 格 ( 只 要 不 
超出 棋盘 的 限制 )。 因 此 骑士 最 多 可 以 有 8 种 可 能 的 移动 ( 见 图 6-5)。 








图 6-5 国际 象棋 中 骑士 的 合法 移动 


骑士 周游 问题 的 传统 定义 是 这 样 的 : 找 一 个 合法 移动 序列 使 骑士 走 过 棋 盘 的 每 一 个 方 格 恰 
好 一 次 。 这 个 问题 一 直 是 开发 和 展示 搜索 算法 的 一 个 主要 素材 。 在 本 章 的 例子 中 ， 我 们 使 用 这 个 
. 问题 的 一 种 简化 版 本 。 我 们 的 问题 是 ， 在 一 个 缩小 的 棋盘 上 (3 x3) ， 是 否 存在 一 系列 合法 移动 
使 骑士 可 以 从 一 个 方 格 移动 到 另 一 个 方 格 。 

图 6-6 显示 了 一 个 3 x3 的 棋盘 ， 并 且 用 1 到 9 九 个 整数 对 其 中 的 每 个 方 格 进行 标号 。 使 用 
这 种 标号 方案 而 不 使 用 更 常规 的 方法 一 一 给 出 每 个 空格 的 行列 号 一 一 是 为 了 进一步 简化 这 个 例 
子 。 由 于 问题 的 规模 减 小 了 ， 因 此 我 们 干脆 枚 举 出 不 同 的 移动 ， 而 不 去 设计 通用 的 移动 操作 符 。 
我 们 用 谓词 演算 来 描述 棋盘 上 的 合法 移动 ， 并 把 所 用 的 谓词 称 为 move， 它 的 参数 是 合法 移动 的 
起 始 方 格 和 结束 方 格 。 例 如 ，move(1,8) 是 把 骑士 从 左上 和 角 移动 到 底 行 的 中 间 。 图 6-6 中 的 谓词 


枚 举 了 3 x3 棋盘 上 的 所 有 可 能 移动 。 
move(1,8) move(6,1) 
move{1,6) move(6,7) 
move(2,9) move(7,2) 
move(2,7) move(7,6) 
move(3,4) move(8,3) 
move(3,8) move(8,1) 
move(4,9) move(9,2) 


move(4,3) 


move(9,4) 





图 6-6 简化 骑士 周游 问题 的 3 x3 棋盘 以 及 相应 的 移动 规则 
可 以 使 用 产生 式 系统 来 求解 3 x3 版 本 的 骑士 周游 问题 。 把 每 一 个 移动 表示 为 这 样 的 一 个 规 
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则 : 规则 的 条 件 是 骑士 在 特定 方 格 的 位 置 ， 规则 的 动作 把 骑士 移动 到 另 一 一 个 方 格 。 表 6-1 中 的 16 
个 产生 式 表示 了 骑士 的 所 有 可 能 移动 。 


表 6-1 3x3 版 本 骑士 周游 问题 的 产生 式 规则 





规则 编号 条 件 动 作 
1 骑士 在 方 格 1 一 移动 骑士 到 方 格 8 
2 骑士 在 方 格 1 一 移动 骑士 到 方 格 6 
3 骑士 在 方 格 2 —> 移动 骑士 到 方 格 9 
4 骑士 在 方 格 2 一 移动 骑士 到 方 格 7 
5 骑士 在 方 格 3 一 移动 骑士 到 方 格 4 
6 骑士 在 方 格 3 一 移动 骑士 到 方 格 8 
7 骑士 在 方 格 4 一 移动 骑士 到 方 格 9 
8 骑士 在 方 格 4 一 移动 骑士 到 方 格 3 
9 骑士 在 方 格 6 一 移动 骑士 到 方 格 1 
10 骑士 在 方 格 6 一 移动 骑士 到 方 格 7 
“11 骑士 在 方 格 7 一 移动 骑士 到 方 格 2 
12 骑士 在 方 格 7 一 移动 骑士 到 方 格 6 
13 骑士 在 方 格 8 一 移动 骑士 到 方 格 3 
14 骑士 在 方 格 8 一 移动 骑士 到 方 格 1 
15 骑士 在 方 格 9 一 移动 骑士 到 方 格 2 
16 骑士 在 方 格 9 一 移动 骑士 到 方 格 4 


接着 ， 我 们 定义 一 个 递归 过 程 来 实现 产生 式 系统 的 控制 算法 。 因 为 path(X, X) 仅 与 path(3， 
3) 或 path(5,5) 这 样 的 谓词 合 一 ， 所 以 它 定义 了 所 要 求 的 终止 条 件 。 如 果 path(X, X) 不 成 功 ， 我 
们 就 检索 产生 式 规则 寻找 可 能 的 下 一 个 状态 ,然后 重复 这 一 过 程 。 下 面 的 两 条 谓词 演算 公式 给 
出 了 通用 的 递归 路 径 定义 : 

VX path( X, X) 

V X,Y [path(X, Y) 32Z[move(X, 2) 人 path(Z,Y)]] 


工作 内 存 (递归 谓词 path 的 参数 ) 中 既 包 含 了 当前 棋盘 状态 ， 又 包含 了 目标 状态 。 控 制 制 

二 击剑 态 汪 下 标 状 大 然后 停止 一 种 简单 的 冲突 消解 方案 是 激发 第 

个 “不 导致 搜索 进入 循环 ”的 规则 。 因 为 这 个 搜索 可 能 进入 死 端 (每 一 种 可 能 的 移动 都 是 曾 

经 访问 过 的 状态 ， 从 而 导致 循环 ) ， 所 以 控制 制度 应 该 必须 允许 回 湖 ; 图 6-7 中 的 表格 说 明了 这 

个 产生 式 系 统 在 确定 是 否 存在 从 方 格 1 到 方 格 2 的 路 径 时 的 执行 情况 。 图 6-8 给 出 了 将 path 定 
义 为 产生 式 系统 的 详细 说 明 。 

工作 内 存 
选 代 次 数 当前 方 格 目标 方 格 










冲突 集合 
(规则 编号 ) 
































图 6-7 3 x3 版 本 骑士 周游 问题 的 一 个 产生 式 系统 解 
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递归 调用 path(X,Y) 产 生 选 代 。 











把 move(X,Z) 
鼠 可 能 使 工作 与 产生 式 匹配 . 
内 存 与 path(X,X) 


合 一 . 


人 move(1,8). 


1,6). 
path(X,Y) ovet 


move(2,9). 















令 工作 内 存 中 
的 X 等 于 Z ( 即 调 
用 path(Z,Y)) . 






move {9,2). 





冲突 消解 : 
使 用 第 一 个 不 导 
致 循环 的 匹配 规则 。 


图 6-8 递归 的 path 算法 : 产生 式 系统 


当 用 产生 式 系统 搜索 状态 空间 图 时 很 容易 产生 无 限 的 循环 。 在 产生 式 系统 中 特别 难以 辨认 
这 些 循 环 ， 因 为 系统 可 能 以 任意 顺序 激发 规则 。 也 就 是 说 ， 在 系统 的 执行 中 可 能 出 现 循环 ， 但 是 
从 对 规则 集 的 语法 检查 中 很 难 发 现 这 些 循环 。 例 如 ， 对 于 骑士 周游 问题 中 的 “移动 ”规则 ， 如 
果 把 它们 按 6. 1 节 中 那样 排序 ， 并 且 使 用 的 冲突 消解 策略 是 选择 第 一 个 匹配 的 规则 ， 那 么 模式 
move(2, X) 将 与 move(2, 9) 匹配 ， 指 出 要 移动 到 方 格 9。 在 下 一 次 迁 代 中 ， 模 式 move(9, X) 会 
与 move(9,2) 匹配 ， 把 搜索 带 回 到 方 格 2， 导 致 循环 。 

为 了 防止 循环 ，pattern_search 检查 一 个 包含 已 访问 过 状态 的 全 局 列表 (closed)。 所 以 ， 
实际 的 冲突 消解 策略 是 ; 选择 第 一 个 匹配 的 通 向 未 访问 过 状态 的 移动 。 在 产生 式 系统 中 ， 记 录 这 
种 特定 案例 数据 作为 以 前 访问 过 状态 的 列表 的 恰当 地 方 ， 不 是 全 局 的 closed 列表 ， 而 是 工作 内 
存 本 身 。 我 们 可 以 修改 path 谓词 以 使 用 工作 内 存 进行 循环 探测 。 假 定 对 我 们 的 谓词 演算 语言 i 
行 扩充 ， 加 入 一 个 特定 的 结构 assert(X) ， 该 谓词 的 作用 是 使 它 的 参数 X 进入 工作 内 存 。assert 
不 是 一 个 普通 的 谓词 ， 而 是 一 种 要 执行 的 动作 ， 所 以 它 总 是 成 功 的 。 

引入 assert 的 目的 是 向 工作 内 存 中 放 人 一 个 “标记 ”， 来 表明 何 时 已 访问 过 一 个 状态 。 这 个 
标记 表示 为 一 个 一 元 谓词 been(X) , 它 以 棋盘 的 一 个 方 格 作 为 参数 。 当 访问 一 个 新 的 状态 X 时 ， 
将 been(X) 加 入 到 内 存 中 。 于 是 冲突 消解 策略 可 以 要 求 在 引发 move(X, Z) 之 前 必须 保证 
been(Z) 不 在 工作 内 存 中 。 对 于 一 个 具体 的 Z 值 ， 可 以 通过 把 一 个 模式 与 工作 内 存 匹 配 来 测试 这 
个 要 求 。 

可 以 把 修改 后 的 递归 路 径 定 义 写 为 : 

VX path( X, X) 

VX,Y [path(X, YY) 3Z move(X,Z) An (been(Z)) Aassert(been(Z)) Apath(Z,Y)]] 


根据 这 个 定义 ，move(X, Z) 在 第 一 个 匹配 的 move 谓词 上 成 功 ， 这 会 绑 定 一 个 值 到 Z。 如 果 
been(Z) 和 工作 内 存 中 的 一 个 人 口 (entry) 匹配 ， 那 么 ~ (been(Z)) 会 失败 (也 就 是 它 为 假 )。 
于 是 pattern_search 回 湖 并 尝试 另 一 个 与 move(X,Z) 匹配 的 谓词 。 如 果 方 格 乙 是 一 个 新 的 状态 ， 
那么 继续 搜索 , .并 把 been(Z) 放 和 人 工作 内 存 以 防止 以 后 的 循环 。 产 生 式 的 实际 引发 发 生 在 path 
算法 递归 时 。 这 样 便 通过 向 工作 内 存 中 放 人 been 谓词 实现 了 产生 式 系统 的 循环 探测 。 
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例 6.2.3 完整 的 骑士 周游 问题 
我 们 可 以 把 求解 3 x3 版 本 骑士 周游 问题 的 方法 推广 到 完整 的 8 x8 版 本 。 因 为 对 于 这 样 一 个 
复杂 的 问题 ， 枚 举 移动 是 没有 意义 的 ， 所 以 我 们 用 8 条 规则 代替 16 种 移动 实例 来 产生 合法 的 骑 
士 移动 。 这 些 移 动 (产生 式 ) 对 应 于 骑士 可 以 移动 的 8 种 可 能 方式 ( 见 图 6-5) 。 
如 果 用 行 号 和 列 号 来 检索 国际 象棋 棋盘 ， 那 么 我 们 把 骑士 向 下 移动 两 个 方 格 并 向 右 移 动 一 
个 方 格 定义 为 : 
条 件 : 当前 行 <6A 当前 列 <7 
动作 : 新 的 行 = 当前 行 +2 人 新 的 列 = 当前 列 +1 
如 果 我 们 使 用 谓词 演算 来 表示 产生 式 ， 那 么 可 以 用 谓词 square( R, C) 来 定义 棋盘 的 一 个 方 
格 ， 代 表 棋 盘 第 R 行 和 第 C 列 的 方 格 。 这 样 可 以 用 谓词 演算 把 上 面 的 规则 重新 写 为 ， 
move(square(Row Column), square(Newrow, Newcolumn)) 全 
less_than_or_equals(Row, 6) A 
equals(Newrow, plus(Row, 2)) 和 


less_than_or_equals(Column, 7) A 
equals(Newcolumn, plus(Column, 1)) 


Plus 是 用 来 做 加 法 的 函数 ; less_than_or_equals 和 equals 的 数学 解释 也 是 显而易见 的 。 类 似 地 ， 
可 以 设计 出 另外 7 种 有 关 骑 士 的 可 能 移动 规则 。 这 些 规 则 代替 了 该 问题 的 3 x3 版 本 中 的 move 
实例 。 

3 x3 版 本 中 的 path 的 定义 也 为 这 个 问题 提供 了 一 个 控制 循环 策略 。 正 如 我 们 所 看 到 的 ， 当 
谓词 演算 描述 由 具体 过 程 〈 比如 pattern_search 算法 ) 解释 时 ， 要 对 谓词 演算 的 语义 进行 一 些 
细微 的 改变 。 其 中 一 种 改变 就 是 求解 目标 的 序列 化 方式 。 这 向 谓词 演算 表达 式 强 加 了 顺序 性 ,或 
者 称 其 为 过 程 性 语义 (procedural semantics) 。 另 一 种 变化 是 引 人 和 人 了 像 assert 这 样 的 元 逻辑 (me- 
ta-logical ) 谓词 ， 这 些 谓词 表明 动作 超出 了 对 谓词 演算 表达 式 的 真 值 解释 范围 。 


例 6.2.4 以 产生 式 系统 实现 财务 顾问 程序 

在 第 2 章 和 第 3 章 中 ， 我 们 开发 了 一 个 小 的 财务 顾问 程序 一 使 用 谓词 演算 表示 财务 知识 并 
用 图 搜索 推理 出 适当 的 结论 。 产 生 式 系统 为 实现 这 个 财务 程序 提供 了 一 种 更 自然 的 工具 。 罗 辑 
描述 的 蕴涵 组 成 了 产生 式 。 针 对 案例 的 信息 〈 咨 询 者 的 工资 、 要 供养 的 人 数 等 ) 放 人 工作 内 存 ; 
当 满 足 规则 的 前 提 时 ， 便 使 能 这 个 规则 ; 然后 从 冲突 集合 中 选取 一 个 规则 并 将 其 激发 ， 再 把 它 的 
结论 加 入 工作 内 存 。 重 复 这 个 过 程 直 到 所 有 可 能 的 顶层 结论 都 已 经 被 加 入 到 工作 内 存 。 事 实 上 ， 
很 多 专家 系统 的 “外 壳 ”( 包 括 JESS 和 CLIPS) 都 是 扩充 了 的 产生 式 系统 ， 扩 充 的 部 分 包括 用 户 
界面 、 处 理 推理 中 的 不 确定 性 、 编 辑 知识 库 以 及 跟踪 执行 过 程 等 。 


6.2.3 产生 式 系统 中 的 搜索 控制 


产生 式 系统 模型 为 向 搜索 算法 中 加 人 启发 式 控制 提供 了 广泛 的 机 会 。 包 括 选 取 数 据 驱动 或 
目标 驱动 搜索 策略 ， 以 及 选取 不 同 的 冲突 消解 策略 。 


通过 选取 数据 驱动 或 目标 驱动 搜索 策略 来 控制 搜索 

数据 驱动 搜索 从 问题 的 描述 〈 比如 一 系列 逻辑 公理 、 疾 病 的 症状 或 需要 解释 的 数据 体 ) 开 
始 ， 从 数据 中 推理 出 新 的 知识 。 这 些 是 这 样 实现 的 : 首先 对 世界 的 当前 描述 应 用 推理 规则 、 在 博 
弈 中 选取 合法 的 移动 ， 或 者 应 用 其 他 的 “状态 - 产生 ”操作 ， 把 得 到 的 结果 加 入 到 问题 的 描述 
中 。 重 复 这 个 过 程 直到 达到 目标 状态 。 

数据 驱动 推理 和 计算 的 产生 式 系统 模型 有 着 密切 的 关系 。 “世界 的 当前 状态 ” (要么 是 已 经 
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假定 为 真 的 数据 ， 要 么 是 前 面 应 用 产生 式 规则 推出 的 数据 ) 放 人 工作 内 存 。 然 后 识别 -动作 循环 
把 当前 的 状态 和 产生 式 规则 的 (有 序 ) 集合 进行 匹配 。 当 这 些 数 据 与 某 一 产生 式 规 则 的 条 件 匹 配 
( 合 一 ) 时 ， 这 个 产生 式 的 动作 便 ( 通 过 修改 工作 内 存 ) 向 世界 的 当前 状态 加 入 一 条 新 的 信息 。 

所 有 产生 式 都 是 “条 件 一 动作 ”的 形式 。 当 它 的 条 件 和 工作 内 存 中 的 某 个 元 素 匹 配 时 ， 便 
执行 其 动作 。 如 果 把 产生 式 规则 写成 逻辑 蕴涵 的 形式 ， 并 且 把 产生 式 的 动作 设计 成 向 工作 内 存 
中 加 入 断言 ， 那 么 引发 规则 的 行为 就 相当 于 应 用 假 言 推理 的 推理 规则 ， 结 果 会 在 图 中 产生 一 个 
新 的 状态 。 

图 6-9 给 出 了 对 表示 为 命题 演算 蕴涵 的 产生 式 集合 的 一 种 简单 数据 驱动 搜索 。 这 里 使 用 的 冲 
突 消解 策略 就 是 以 下 两 个 原则 ， 选 取 最 近 最 少 激发 过 的 (或 根本 没有 激发 过 的 ) 使 能 规则 ;如 
果 出 现 “ 平 局 ”的 情况 ， 选 取 其 中 的 第 一 个 规则 。 当 达到 目标 时 终止 执行 。 图 中 也 给 出 了 规则 
激发 的 顺序 和 执行 过 程 中 各 个 阶段 的 工作 内 存 及 搜索 的 空间 图 。 


产生 式 集合 : 执行 过 程 : 
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执行 过 程 所 搜索 的 空间 : 


start 


和、 搜索 的 方向 


图 6-9 产生 式 系统 的 数据 驱动 搜索 


前 面 我 们 以 数据 驱动 的 方式 讨论 了 产生 式 系 统 ; 另 一 方面 ， 还 可 以 用 产生 式 系统 来 产生 目 
标 驱动 的 搜索 。 根 据 第 3 章 中 的 定义 ， 目 标 驱动 搜索 从 目标 开始 ， 倒 推 回 满足 目标 的 问题 事实 。 
为 了 在 产生 式 系统 中 实现 目标 驱动 搜索 ,我 们 把 目标 放 入 工作 内 存 ， 并 和 产生 式 规则 的 动作 匹 
配 。 就 像 在 数据 驱动 的 推理 中 匹配 ( 比如 通过 合 一 ) 产生 式 的 条 件 那样 匹配 产生 式 的 动作 。 结 
论 (动作 ) 和 目标 匹配 的 所 有 产生 式 规则 组 成 冲突 集合 。 

当 一 个 规则 的 动作 匹配 后 ， 它 的 条 件 加 入 到 工作 内 存 成 为 新 的 搜索 子 目 标 (状态 ) 。 然 后 再 
把 新 的 状态 和 其 他 产生 式 规则 的 动作 进行 匹配 。 继 续 这 个 过 程 ， 直 到 找到 了 事实 ， 事实 通常 在 问 
题 的 初始 描述 中 ,但 也 可 能 像 专 家 系统 经 常 使 用 的 方法 那样 ， 通 过 直接 向 用 户 询问 特定 信息 得 
到 事实 。 当 按 这 种 倒 推 的 方式 找到 所 有 激发 产生 式 的 条 件 都 为 真 时 ， 搜 索 终止 。 这 些 条 件 和 通 向 
原始 目标 的 激发 规则 链 组 成 了 对 目标 的 证 明 ， 这 种 证 明 是 通过 一 系列 环 环 相 扣 的 推理 〈 比 如 假 
言 推理 ) 实现 的 。 图 6-10 中 给 出 了 一 个 目标 驱动 推理 的 例子 ， 它 使 用 的 产生 式 与 图 6-9 中 使 用 
的 产生 式 相同 。 注 意 ; 目标 驱动 搜索 与 相应 的 数据 驱动 版 本 引发 的 产生 式 是 不 同 的 ， 而 且 搜索 空 
间 也 不 一 样 。 
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产生 式 集合 ， 执行 过 程 : 
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执行 过 程 所 搜索 的 空间 : 


goal 


搜索 的 方向 


start 


图 6-10 产生 式 系 统 的 目标 驱动 搜索 


通过 以 上 讨论 可 以 看 出 ， 产 生 式 系统 既 可 用 于 数据 驱动 搜索 又 可 用 于 目标 驱动 搜索 。 产 生 
式 规则 就 是 改变 图 中 状态 的 推理 集合 (基于 规则 的 专家 系统 中 的 “知识 ”)。 一 种 情况 是 ， 把 世 
界 的 当前 状态 (描述 这 个 世界 的 一 组 真实 陈述 集 〉 与 产生 式 规则 的 条 件 匹 配 ， 然 后 执行 匹配 规 
则 的 动作 来 产生 对 世界 的 另 一 种 (真实) 描述， 这 称 为 数据 驱动 搜索 。 

另 一 种 做 法 是 ， 把 目标 和 产生 式 规则 集合 中 规则 的 动作 部 分 匹配 ， 然 后 把 匹配 规则 的 条 件 
作为 要 证 明 的 子 目 标 〈 证 明 的 方法 是 在 产生 式 系统 的 下 一 轮 循环 中 匹配 规则 的 动作 ) ， 这 便 是 目 
标 驱动 的 问题 求解 方法 。 

因为 既 可 以 按 数据 驱动 的 方式 又 可 以 按 目 标 驱动 的 方式 执行 规则 ， 所 以 我 们 可 以 把 每 一 种 
方法 控制 搜索 的 效率 进行 对 比 。 这 两 种 策略 的 复杂 度 都 可 以 用 像 分 支 因 子 这 样 的 概念 来 衡量 。 
利用 这 些 搜索 复杂 性 尺度 ， 我 们 可 以 对 问题 求解 器 的 数据 驱动 和 目标 驱动 版 本 的 代价 进行 估计 ， 
从 而 帮助 我 们 选择 最 高 效 的 策略 。 

我 们 还 可 以 采用 组 合 策略 。 例 如 ， 我 们 可 以 先 按 正 向 搜索 直到 状态 数 变 得 很 大 ， 然 后 切换 到 
目标 导向 的 搜索 使 用 可 能 的 子 目 标 在 备 选 状 态 中 做 出 选择 。 这 种 情况 的 风险 是 ， 当 使 用 了 启发 
式 搜 索 或 最 佳 优先 搜索 〈 见 第 4 章 ) 时 ， 每 种 策略 实际 搜索 图 的 部 分 可 能 相互 遗漏 ， 从 而 导致 
最 终 要 做 的 搜索 比 简单 方法 更 多 ， 如 图 6-11 所 示 。 然 而 ， 当 空间 的 分 支 固定 不 变 并 使 用 穷 举 搜 
索 时 ， 组 合 搜索 策略 可 以 大 大 削减 搜索 的 空间 量 ， 如 图 6-12 所 示 。 


通过 规则 结构 控制 搜索 

产生 式 系统 的 规则 结构 包括 规则 和 动作 的 区 分 以 及 试验 条 件 的 顺序 _ 决定 了 搜索 空 
间 的 方式 。 在 把 谓词 演算 作为 一 种 表示 语言 介绍 时 ， 我 们 强调 了 其 语义 的 声明 (declarative) 性 。 
也 就 是 说 ， 谓 词 演算 表达 式 仅 定义 了 问题 域 中 的 真实 关系 ， 没 有 对 以 什么 顺序 来 解释 它 的 各 个 
部 分 做 出 任何 规定 。 因 此 ， 如 果 一 个 规则 为 VX(foo(X) Agoo(X) 一 moo(X)) ， 那 么 根据 谓词 演 
算 规 则 ， 可 以 把 这 个 规则 表示 为 另 一 种 形式 : YX(foo(X) 一 moo(X) V ~ goo(X))。 可 以 用 2.1 
节 中 的 真 值 表 方 法 来 说 明 这 两 个 子 句 的 等 价 关 系 已 经 作为 一 个 练习 布置 过 (第 2 章 )。 
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目标 反 向 搜索 所 分 析 的 状态 


图 6-11 双向 搜索 相互 遗漏 导致 了 额外 搜索 





仅 使 用 正 向 搜索 
时 分 析 的 状态 





使 用 正 向 和 反 
向 组 合 搜索 时 
分 析 的 状态 


图 6-12 ”双向 搜索 在 中 间 相 遇 ， 排 除了 绝 大 部 分 非 双向 搜索 所 分 析 的 空间 


尽管 这 两 个 公式 是 逻辑 等 价 的 ， 但 是 当 把 它们 解释 为 产生 式 时 就 会 产生 不 同 的 结果 ， 因 为 
产生 式 系统 的 实现 对 规则 的 匹配 和 激发 强加 了 顺序 性 。 由 于 这 个 原因 ， 规 则 的 特定 形式 决定 了 
把 一 个 规则 和 一 个 问题 实例 匹配 的 简易 性 〈 或 者 可 能 性 ) 。 这 是 产生 式 系 统 解释 规则 方式 的 不 同 
而 产生 的 结果 。 产 生 式 系统 对 用 来 组 成 规则 的 声明 性 语言 强加 了 过 程 性 语义 。 

因为 产生 式 系统 以 特定 的 顺序 试验 每 一 条 规则 ， 所 以 程序 员 可 以 通过 修改 产生 式 集 合 中 规 
则 的 顺序 和 结构 来 控制 搜索 。 尽 管 VX(foo(X) 人 goo(X) 一 moo(X)) 和 VX(foo(X) 一 moo(X) V 
” goo(X)) 在 逻辑 上 是 等 价 的 ， 但 是 它们 在 搜索 实现 中 的 行为 并 不 相同 。 

人 类 专家 把 关键 性 的 启发 编码 进 他 们 的 技能 规则 中 。 作 为 前 提 的 顺序 信息 编码 了 求解 问题 
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的 重要 过 程 信息 。 在 建立 “ 像 专家 那样 求解 问题 ”的 程序 时 保持 这 种 顺序 是 很 重要 的 。 比 如 当 
一 个 机 修 工 说 “如 果 引 获 不 转 ， 并 且 灯 不 亮 ， 那 么 检查 电池 ”时 ， 他 指出 了 动作 的 特定 顺序 。 
一 条 逻辑 上 等 价 的 语句 “ 引 苞 转动 或 者 车 灯亮 或 者 检查 电池 ”没有 捕捉 到 这 种 信息 。 规 则 的 形 
式 对 于 控制 搜索 、 使 系统 的 行为 符合 逻辑 、 使 规则 激发 的 过 程 更 好 理解 等 都 是 非常 关键 的 


通过 冲突 消解 策略 控制 搜索 

信 管 产生 式 系统 像 基于 知识 的 系统 使 用 的 所 有 体系 结构 一 样 ， 人 允许 把 启发 按照 规则 本 身 
的 知识 内 容 编码 ， 但 是 它 还 提供 了 另 一 种 进行 启发 性 控制 的 手段 ， 即 通过 冲突 消解 来 控制 搜索 。 
只管 最 简单 的 冲突 消解 策略 就 是 选取 和 工作 内 存 内 容 匹配 的 第 一 个 规则 ， 但 是 原则 上 可 以 应 用 
任何 策略 来 实现 冲突 消解 。 例 如 ，OPS5 (Brownston et al 1985) 所 支持 的 冲突 消解 策略 包括 ， 

1) 折射 《refraction) 。 一 个 规则 一 旦 被 激发 ， 就 不 可 以 再 次 被 激发 ， 除 非 与 其 条 件 匹配 的 工 
作 内 存 元 素 已 经 修改 了 。 这 样 可 以 抵制 循环 。 

2) 最 新 性 〈recency)。 最 新 性 策略 优先 选择 规则 条 件 与 最 近 加 入 到 工作 内 存 中 的 模式 相 匹 
配 的 规则 。 这 使 搜索 的 焦点 集中 在 一 条 推理 路 线 上 。 

3) 特殊 性 〈specificity) 。 这 个 策略 假定 使 用 一 个 更 特殊 的 问题 求解 规则 会 比 使 用 更 一 般 的 
规则 更 合适 。 一 个 规则 比 其 他 规则 更 特殊 的 标准 是 其 条 件 更 多 ， 这 也 意味 着 与 其 匹配 的 工作 内 
存 模式 会 更 少 。 


6.2.4 Al 产 生 式 系 统 的 优点 


正如 前 面 的 例子 所 说 ， 产 生 式 系统 提供 了 一 种 通用 的 框架 实现 搜索 。 由 于 它 的 简洁 性 、 可 修 
改 性 和 应 用 求解 问题 知识 的 灵活 性 ， 产 生 式 系统 已 经 被 证 明 是 建立 专家 系统 和 其 他 AI 应 用 的 重 
要 工具 。 使 用 产生 式 系统 来 求解 人 工 智能 问题 的 主要 优点 包括 ; 

知识 和 控制 的 分 离 。 产 生 式 系 统 是 把 知识 和 计算 机 程序 中 的 控制 分 离开 来 的 较 好 模型 。 控 
制 是 由 产生 式 系统 的 识别 - 动作 循环 提供 的 ， 而 求解 问题 的 知识 编码 成 规则 本 身 。 这 种 分 离 所 
带 来 的 优点 包括 修改 知识 库 的 简易 性 不 需要 对 程序 控制 代码 进行 修改 ; 并且 从 另 一 方面 说 ， 
也 可 以 修改 程序 控制 代码 而 不 改变 产生 式 规则 。 

可 以 自然 地 映射 到 状态 空间 搜索 。 产 生 式 系统 的 各 个 部 分 与 状态 空间 搜索 的 结构 之 间 存 在 
一 种 非常 自然 的 对 应 关系 。 工 作 内 存 的 逐次 状态 组 成 了 状态 空间 图 的 结 点 。 产 生 式 规则 是 状态 
之 间 可 能 变换 的 集合 ， 冲 突 消解 实现 了 对 状态 空间 中 分 支 的 选择 。 这 些 规则 简化 了 搜索 算法 的 
实现 、 调 试 和 建 档 。 

产生 式 规 则 的 模块 性 。 产 生 式 系统 模型 的 一 个 重要 特征 是 产生 式 规则 之 间 缺 乏 语法 上 的 相 
互 作用 性 。 规 则 仅 可 以 通过 改变 工作 内 存 中 的 模式 来 影响 其 他 规则 的 激发 ;它们 不 可 以 像 子 过 
程 那样 直接 “调用 ”其 他 规则 ， 也 不 可 以 设 定 其 他 规则 中 的 变量 值 。 规 则 的 变量 范围 就 局 限 在 
规则 个 体 中 。 这 种 语法 上 的 独立 性 允许 我 们 逐步 开发 专家 系统 ， 可 以 不 断 地 加 入 、 删 除 或 修改 系 
统 中 的 知识 (规则 ) 。 

模式 导向 控制 。AI 程序 所 针对 的 问题 要 求 其 具有 很 大 的 灵活 性 。 产 生 式 系统 中 的 规则 可 以 
以 任意 顺序 激发 ， 这 恰好 迎合 了 灵活 性 目标 。 组 成 世界 当前 状态 的 问题 描述 决定 了 冲突 集合 ， 从 
而 决定 了 特定 的 搜索 路 径 和 解 。 

有 很 多 种 方式 可 以 用 于 对 搜索 的 启发 式 控制 (在 前 面 一 节 中 描述 了 启发 式 控制 搜索 的 几 种 
技术 ) 。 

易于 跟踪 和 解释 。 产 生 式 系统 中 规则 的 模块 性 和 规则 执行 的 适 代 性 使 跟踪 产生 式 系统 的 执 
行 过 程 更 简单 。 在 识别 - 动作 循环 的 每 一 阶段 ， 我 们 都 可 以 显示 出 已 选 出 的 规则 。 因 为 每 条规 
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则 对 应 于 问题 求解 知识 的 一 个 知识 块 ， 所 以 规则 的 内 容 提供 了 对 系统 当前 状态 和 动作 的 有 意义 
解释 。 而 且 ， 在 一 个 求解 过 程 中 使 用 的 规则 链 不 仅 反 映 了 图 中 的 一 条 路 径 ， 而 且 反映 了 人 类 专家 
的 “推理 路 线 ”， 在 第 8 章 中 我 们 会 更 详细 地 讨论 这 一 点 。 相 反 ， 在 像 Pascal 和 FORTRAN 这 样 
的 传统 语言 中 ， 单 独 一 行 代码 或 一 个 过 程 几乎 是 没有 意义 的 。 

语言 独立 性 。 产 生 式 系统 的 控制 模型 独立 于 规则 和 工作 内 存 所 选取 的 表示 ， 只 要 选择 的 表 
示 支 持 模式 匹配 。 在 前 面 我 们 把 产生 式 规则 描述 为 A=B 这 样 的 谓词 演算 蕴涵 形式 ， 我 们 可 以 利 
用 A 的 真 值 和 假 言 推理 这 一 推理 规则 得 出 结论 B。 尽 管 使 用 逐 辑 作为 表示 知识 的 基础 和 可 靠 推理 
规则 的 来 源 有 很 多 优点 ， 但 是 也 可 以 在 产生 式 系统 中 使 用 其 他 表示 ， 例 如 CLIPS 和 JESS。 

尽管 谓词 演算 推理 具有 逻辑 可 靠 推理 的 优点 ， 但 是 很 多 问题 需要 非 逻 辑 意义 上 的 可 靠 推理 。 
这 些 问 题 需要 使 用 不 确定 的 证 据 和 默认 的 假定 进行 概率 推理 。 后 面 几 章 (第 7、8、9 章 ) 讨论 
了 具有 这 种 能 力 的 其 他 推理 规则 。 然 而 ， 不 管 使 用 什么 类 型 的 推理 规则 ， 都 可 以 采用 产生 式 系统 
来 搜索 其 状态 空间 。 

为 人 类 问题 求解 提供 了 一 种 合理 的 模型 。 对 人 类 问题 求解 建 模 是 产生 式 系统 的 最 早 应 用 之 
一 ， 参 见 Newell and Simon (1972) 。 在 很 多 认 知 科学 研究 领域 中 仍然 使 用 产生 式 系统 来 对 人 类 的 
行为 建 模 ( 见 第 16 章 )。 

模式 导向 搜索 使 我 们 可 以 用 谓词 演算 探索 逻辑 推理 空间 。 很 多 建立 在 这 一 技术 基础 上 的 应 
用 使 用 谓词 演算 对 世界 的 某 一 特征 〈 比 如 时 间 和 变化 ) 建 模 。 在 下 一 节 中 我 们 介绍 了 黑板 系统 ， 
它 是 产生 式 系统 方法 学 的 一 种 变 体 。 在 该 方法 学 中 ， 针 对 任务 的 各 组 产生 式 规则 组 合成 多 个 知 
识 源 ， 通 过 全 局 工作 内 存 或 黑板 进行 通信 ， 相 互 协作 求解 问题 。 


6. 3 ”用 于 问题 求解 的 黑板 结构 


黑板 (blackboard) 是 本 章 要 介绍 的 最 后 一 种 控制 机 制 。 当 我 们 需要 以 非常 确定 的 方式 分 析 
逻辑 推理 空间 中 的 状态 时 ， 产 生 式 系统 提供 了 较 大 的 灵活 性 ， 人 允许 我 们 在 工作 内 存 中 同时 表示 
多 个 局 部 解 ， 并 通过 冲突 消解 选取 下 一 个 状态 。 黑 板 扩 展 了 产生 式 系 统 ， 人 允许 我 们 把 工作 内 存 组 
织 成 多 个 独立 的 模块 ， 每 个 模块 对 应 于 产生 式 规则 的 不 同 子 集 。 黑 板 把 这 些 产 生 式 规则 的 独立 
集合 集成 起 来 ， 并 在 一 个 全 局 的 结构 ( 即 黑板 ) 中 协调 这 些 问题 求解 器 (有 时 也 称 为 知识 源 
(knowledge sources) ) 的 动作 。 

很 多 问题 需要 协同 处 理 许多 不 同类 型 的 主体 。 例 如 ， 语 音 理 解 程序 必须 首先 把 话语 处 理 成 
数字 波形 。 随 着 解码 过 程 的 继续 ， 必 须 找到 这 名 话 中 的 单词 ， 把 这 些 单词 组 成 句子 ， 最 后 产生 话 
语 含义 的 语义 表示 。 

当 多 个 进程 必须 协同 工作 求解 一 个 问题 时 也 会 发 生 类 似 的 问题 。 这 样 的 一 个 例子 是 传感器 
合成 问题 (Lesser and Corkill 1983) 。 假 定 有 一 个 传感器 网 络 ， 其 中 的 每 一 个 传感器 由 一 个 进程 
所 监控 。 另 外 还 假定 各 个 进程 可 以 通信 ， 并 且 对 每 个 传感器 数据 的 正确 解释 依赖 于 网 络 中 其 他 
传感器 接收 的 数据 。 这 种 问题 在 很 多 场合 中 都 存在 ， 比 如 跟踪 一 个 越过 多 个 雷达 站 的 飞机 以 及 
合并 生产 过 程 中 的 多 个 传感器 读数 。 

里 板结 构 (blackboard architecture》 作为 一 种 控制 模型 已 经 应 用 到 以 上 问题 中 ， 它 也 用 于 解 
决 其 他 需要 协调 多 个 过 程 或 知识 源 的 问题 。 黑 板 是 一 个 全 局 性 的 中 央 数 据 库 ， 用 来 实现 各 个 独 
立 异 步 知 识 源 间 的 通信 ， 每 个 知识 源 集中 表示 一 个 特定 问题 的 有 关 方面 。 图 6-13 给 出 了 黑板 设 
计 的 示意 图 。 

在 图 6-13 中 ， 每 个 知识 源 (knowledge source) KS; 从 黑板 取得 数据 ， 处 理 数据 ， 并 将 其 结 
果 返 回 到 黑板 供 其 他 知识 源 使 用 。 每 个 知识 源 KS, 都 是 一 个 分 离 的 根据 其 自身 规范 运作 的 过 程 ， 
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从 这 个 意义 上 来 说 每 个 知识 源 都 是 独立 的 ， 而 且 当 使 用 多 处 理 器 系统 时 ， 它 是 独立 于 问题 中 其 
他 处 理 过 程 的 。 不 论 何 时 只 要 知识 源 KS 发 现 黑板 中 投入 

了 合适 的 输入 数据 ， 便 开始 它 的 操作 ， 从 这 个 意义 上 来 说 本 网 

它 是 一 个 异步 系统 。 当 它 完 成 处 理 后 ， 把 结果 投递 到 黑板 ”一 

并 等 待 新 的 合适 的 输入 数据 。 : 天 

使 用 黑板 方法 来 组 织 庞大 的 程序 最 早出 现在 HEAR- [CS 

SAY-I 的 研究 中 (Erman et al 1980，Reddy 1976 ) 。 

HEARSAY- 了 是 一 个 语音 理解 程序 ;设计 它 的 最 初 目的 是 

用 做 计算 机 科学 文献 图 书馆 数据 库 的 前 端 。 图 书馆 的 用 户 5 一 一 

以 讲 英语 的 方式 对 计算 机 提出 类 似 这 样 的 查询 “有 Feigen- 

baum 和 Feldman 编著 的 任何 资料 吗 ?” 这 人 台 计 算 机 会 用 图 图 6-13 黑板 体系 结构 

书馆 数据 库 中 的 信息 回答 这 个 问题 。 语 音 理解 把 多 种 不 同 的 处 理 集成 到 一 起 ， 其 中 的 每 个 部 分 
需要 过 然 不 同 的 知识 和 算法 ， 而 且 每 一 部 分 都 可 能 具有 指数 级 的 复杂 度 。 在 语音 翻译 中 ， 如 下 处 
理 是 相互 制约 的 ;信和 号 处 理 ; 音素 、 音 节 和 单词 的 识别 ; 语法 分 析 ; 语义 分 析 。 

HEARSAY-I 使 用 黑板 结构 来 协调 这 个 复杂 任务 所 需 的 多 个 不 同 知 识 源 。 黑 板 通常 是 按 两 维 
来 组 织 的 。 在 HEARSAY-I 中 ,这 两 维 分 别 是 产生 语音 变化 的 时 间 和 讲话 的 分 析 层 次 。 每 个 分 析 
层次 由 不 同 的 知识 源 来 处 理 。 这 些 分 析 层次 是 : 

KS， 声音 信号 的 波形 。 

KS。 声音 信号 的 音素 或 可 能 的 声音 片段 。 

KS。 音素 可 能 产生 的 音节 。 

KS， 一 个 KS 分 析出 的 可 能 单词 。 

KS。 第 二 个 KS 分 析出 的 可 能 单词 (通常 从 数据 的 不 同 部 分 考虑 单词 ) 。 

KS。 努力 产生 可 能 单词 序列 的 KS。 

KS， 把 单词 序列 组 成 可 能 短语 的 KS。 

我 们 可 以 把 这 些 处 理 可 视 化 为 图 6-13 中 的 各 个 部 分 。 在 处 理 口语 时 ,语音 信号 波形 输入 到 
最 底层 。 激 发 负责 处 理 这 个 项 目的 知识 源 ， 并 将 其 解释 投递 到 黑板 供 其 他 合适 的 处 理 过 程 来 拾 
取 。 由 于 口语 语言 的 含糊 性 ， 因 此 可 以 在 黑板 的 每 个 层次 给 出 多 个 竞争 的 假设 。 较 高 层次 的 知识 
源 会 尝试 消除 这 些 竞争 假设 的 歧义 。 

不 应 该 把 HEARSAY- 开 的 分 析 简 单 看 成 : 较 低 的 层次 产生 数据 ， 然 后 较 高 的 层次 分 析 数据 。 
它 要 比 这 复杂 得 多 。 如 果 一 个 层次 上 的 KS 不 能 处 理 〈 理 解 ) 发 给 它 的 数据 ， 那 么 这 个 KS 可 以 
要 求 向 它 发 送 数据 的 KS 再 试 一 次 ， 也 就 是 对 数据 做 出 另 一 种 假设 。 此 外 ， 不 同 的 KS 可 以 同时 
工作 在 一 句 话 的 不 同 部 分 上 。 所 有 的 处 理 就 像 前 面 提 到 的 那样 是 异步 的 ， 而 且 是 数据 驱动 的 ; 当 
有 输入 数据 时 它们 就 工作 ， 而 且 持续 工作 直到 完成 所 有 任务 ， 然 后 投递 出 它们 的 结果 并 等 待 下 
一 个 任务 。 

有 一 个 称 为 调度 程序 (scheduler) 的 KS， 处 理 KS 之 间 “ 消 费 数据 和 投递 结果 ”的 通信 。 
这 个 调度 程序 对 每 个 KS 的 活动 结果 进行 评定 ， 因 此 能 够 通过 优先 级 队列 提供 一 些 求解 问题 的 指 
导 。 如 果 没 有 KS 是 活动 的 ， 那 么 调度 程序 确定 任务 已 经 完成 而 终止 。 

当 HEARSAY 程序 使 用 大 约 1000 个 单词 的 数据 库 时 工作 得 非常 好 ， 尽 管 有 点 慢 。 但 当 进 一 
步 扩充 数据 库 时 ， 用 于 知识 源 的 数据 变 得 更 加 复杂 超出 了 它们 的 处 理 能 力 。HEARSAY- 亚 (Balz- 
er et al 1980 ，Erman et al 1981) 是 对 HEARSAY- I 所 采用 方法 的 推广 。 不 再 需要 HEARSAY- 了 
的 时 间 维 ， 但 保留 了 用 于 各 个 分 析 层 次 的 多 个 知识 源 。HEARSAY- 正 的 黑板 是 用 来 和 通用 的 关系 
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数据 库 系统 进行 交互 。 事 实 上 ，HEARSAY- 卫 是 用 来 设计 专家 系统 的 一 个 外 壳 ; 见 8. 1.1 节 。 

HEARSAY- 亚 的 一 个 重要 改进 是 把 调度 KS 分 离 出 来 〈 和 前 面 描述 的 用 于 HEARSAY-I 的 调 
度 KS 相同 ) ， 并 使 其 作为 一 个 分 离 的 黑板 控制 器 对 第 一 块 〈 问 题 域 ) 黑板 进行 控制 。 这 第 二 块 
黑板 允许 把 调度 处 理 分 解 成 多 个 独立 的 KS， 负 责 不 同 特征 的 解 过 程 〈( 例 如， 什么 时 候 和 如 何 应 
用 域 知识 )。 因 此 ,第 二 块 黑板 可 以 比较 和 平衡 每 个 问题 的 不 同 解 (Nii and Aiello 1979，Nii 
1986a，1986b) 。 另 一 种 黑板 模型 把 知识 库 的 重要 部 分 保留 在 黑板 中 ， 而 不 是 把 所 有 知识 都 分 布 
到 各 个 知识 源 中 (Skinner and Luger 1991，1992 ) 。 


6.4 结语 和 参考 文献 


本 章 讨 论 了 如 何 实现 第 3 章 和 第 4 章 介绍 的 搜索 策略 。 因 此 这 两 章 结语 中 列 出 的 参考 文献 也 
适用 于 本 章 。6. 1 节 把 递归 作为 编写 图 搜索 程序 的 一 个 重要 工具 进行 了 详细 介绍 ， 并 以 递归 形式 
实现 了 第 3 章 中 的 深度 优先 算法 和 回溯 算法 。 模 式 导向 搜索 利用 第 2 章 给 出 的 合 一 和 推理 规则 简 
化 了 对 逻辑 推理 空间 搜索 的 实现 。 

在 6.2 节 介 绍 的 产生 式 系统 是 用 于 对 求解 问题 方法 建 模 和 实现 搜索 算法 的 一 种 自然 结构 。 这 
节 介 绍 了 使 用 产生 式 系统 实现 数据 驱动 搜索 和 目标 驱动 搜索 的 例子 。 实 际 上 ， 产 生 式 系统 一 直 
是 AI 程序 设计 的 一 个 重要 典范 ， 起 始 于 Newell 和 Simon 及 其 同事 在 卡 内 基 : 梅 隆 大 学 的 研究 
(Newell and Simon 1976, Klahr et al. 1987, Neches et al. 1987 ，Newell et al. 1989)。 产 生 式 系统 
还 一 直 是 支撑 认 知 科学 研究 的 一 种 重要 结构 (Newell and Simon 1972，Luger 1994; 也 可 参考 第 
16 章 ) 。 

关于 实现 产生 式 系统 (特别 是 基于 OPS 语言 的 ) 的 参考 文献 有 Lee Brownston 等 人 (1985) 
编著 的 《Programming Expert Systems in QPS5》 以 及 Donald Waterman 和 Frederick Hayes-Roth 
(1978) 编著 的 《Pattem Directed Inference Systems》。 关 于 现代 的 用 C 和 Java 语言 实现 的 产生 式 
系统 ， 请 参考 CLIPS 和 JESS 的 网 站 。 

在 HEARSAY-I 的 研究 (Reddy 1976 ，Erman et al 1980) 中 描述 了 黑板 模型 的 早期 成 果 。 
描述 黑板 模型 后 来 发 展 的 资料 包括 对 HEARSAY- 亚 的 研究 (Lesser and Corkill 1983 ，Nii 1986a， 
Nii 1986b) 及 Robert Engelmore 和 Tony Morgan (1988) 编著 的 《Blackboard Systems》。 

对 产生 式 系 统 、 规 划 和 黑板 结构 的 研究 依然 是 人 工 智能 研究 领域 中 的 一 个 活跃 部 分 。 我 们 
推荐 有 兴趣 的 读者 查阅 人 工 智能 会 议 及 人 工 智 能 国际 联合 会 议 美国 协会 的 近期 学 报 。Morgan 
Kaufmann 和 AAAI 出 版 公司 已 经 出 版 了 一 些 其 他 的 会 议 学 报 以 及 关于 AI 课题 的 文集 。 


6.5 习题 


1. a) 编写 一 个 member-check 算法 ， 算 法 通过 递归 来 判断 一 个 给 定 元 素 是 否 是 一 个 列表 的 成 员 。 
b) 写 一 个 算法 以 计算 出 一 个 列表 中 的 元 素 个 数 。 
c) 写 一 个 算法 以 计算 出 一 个 列表 中 的 原子 个 数 。 
(原子 和 元 素 之 间 的 区 别 是 元 素 本 身 可 以 是 一 个 列表 。) 

. 写 一 个 递归 算法 (使 用 open 和 closed 列表 ) 来 实现 宽度 优先 搜索 。 在 实现 宽度 优先 搜索 时 可 以 利用 递 
归来 省 略 open 列表 吗 ? 解释 原因 。 

. 跟踪 对 图 3-14 所 示 状 态 空间 进行 递归 深度 优先 搜索 〈 这 个 版 本 不 使 用 open 列表 ) 的 执行 过 程 。 

4. 在 古 印度 的 一 次 茶 庆 典 上 ， 有 三 个 参加 者 : 一 个 老者 、 一 个 仆人 和 一 个 少年 。 他 们 要 执行 4 项 任务 : 烧 
火 、 上 点 心 、 倒 茶 和 癸 诗 ; 这 4 项 任务 的 重要 性 依次 递减 。 在 庆典 开始 时 ， 由 少年 执行 所 有 4 项 任务 。 
每 次 传递 一 项 任务 给 下 一 个 人 来 执行 ， 少 年 做 完 后 轮 到 仆人 ， 再 轮 到 老者 ， 直 到 庆典 的 最 后 ， 是 老者 在 
执行 所 有 4 项 任务 。 任 何人 不 可 以 做 比 他 们 已 经 执行 任务 的 重要 性 更 低 的 任务 。 产 生 一 个 移动 序列 把 所 
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有 4 项 任务 从 少年 移交 给 老者 。 写 一 个 递归 算法 来 执行 这 个 移动 序列 。 


(An 


a) path(1,9) 
b) path(1,5) 
c) path(7,6) 
当 依次 试验 move 谓词 时 ， 经 常 在 搜索 中 出 现 循环 。 讨 论 这 种 情况 下 的 循环 探测 和 回溯 。 
6. 写 出 pattern_search ( 见 6.1.2 节 ) 的 宽度 优先 版 本 的 伪 代 码 。 讨 论 这 种 算法 的 时 间 和 空间 效率 。 
7. 使 用 6. 2.3 节 中 的 规则 作为 模型 ， 写 出 8 x8 版 本 的 完整 骑士 周游 问题 需要 的 8 种 移动 规则 。 
. 利用 图 6-3 中 的 起 始 状 态 和 目标 状态 ， 手 工 运行 8 格 拼图 游戏 问题 的 产生 式 系统 解 : 
a) 以 目标 驱动 方式 。 
b) 以 数据 驱动 方式 。 
9. 考虑 第 2、3 和 4 章 讨论 的 财务 顾问 问题 。 利 用 谓词 演算 作为 表示 语言 : 
a) 用 产生 式 系统 描述 这 个 问题 。 
b) 回忆 第 3 章 中 对 这 个 问题 的 数据 驱动 解 ， 生 成 这 种 解法 的 状态 空间 和 各 阶段 的 工作 内 存 。 
10. 改 用 目标 驱动 方法 ， 解 决 问题 9b。 


Oo 


. 使 用 6. 2. 2 节 中 骑士 周游 问题 的 move 和 path 的 定义 ， 跟 踪 pattern_search 对 以 下 目标 的 执行 过 程 : 


11. 6.2.3 节 给 出 了 儿 种 通用 的 冲突 消解 策略 : 折射、 最 新 性 和 特殊 性 。 再 提出 两 种 这 样 的 策略 ， 并 说 明 


理由 。 
12. 提出 两 种 适合 用 黑板 结构 求解 的 应 用 。 简 述 为 了 实现 每 一 种 应 用 ， 应 该 如 何 组 织 黑 板 和 知识 源 。 
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我 们 的 忱 处 在 很 大 程度 上 是 由 于 我 们 总 是 使 用 昨天 的 工具 做 今天 的 工作 :…… 
一 一 Marshall McLuhan 


将 大 脑 看 作 具 体 行 为 的 控制 器 不 是 更 有 成 果 的 想法 吗 ? 这 个 在 思考 角度 上 的 微小 变化 对 如 
何 建立 有 关心 灵 的 科学 产生 了 深远 的 影响 。 事 实 上 ， 它 需要 我 们 彻底 改变 思考 智能 行为 的 方式 。 
需要 我 们 抛弃 (从 笛 卡 儿 开 始 便 普 遍 存 在 的 ) 精神 与 肉体 完全 分 离 的 思想 ; 抛弃 在 感知 、 认 知 
和 行为 之 间 存 在 明确 分 界线 的 思想 ; 抛弃 大 脑 在 一 个 执行 中 心中 进行 高 层 推理 的 思想 ; 最 重要 
地 是 抛弃 人 为 地 把 思考 从 肉体 行为 中 分 离 出 来 的 研究 方法 ……: 

Andy Clark, 《Being There》 (1997) 





表示 与 智能 


在 60 多 年 的 AI 历史 中 ,表示 问题 (也 就 是 如 何 最 佳 地 捕获 智能 行为 的 关键 特征 以 供 计 算 机 
使 用 ,或 者 说 以 供与 人 交流 ) 一 直 是 AI 的 一 个 经 典 主题 。 本 部 分 首先 回顾 多 年 来 一 直 影 响 AI 研 
究 团体 的 三 种 主要 表示 方法 。 第 一 个 主题 是 20 世纪 50 年 代 和 60 年 代 Newell 和 Simon 在 研究 远 
辑 理论 家 (Newell and Simon 1956 ，1963a) 程序 时 提出 的 ， 称 为 弱 方 法 问题 求解 。 第 二 个 主题 是 
20 世纪 70 和 80 年 代 非 常 普遍 的 强 方法 问题 求解 ， 这 种 方法 得 到 了 早期 专家 系统 设计 者 的 拥护 
(参见 第 8 章 开 篇 引用 的 Feigenbaum 的 论述 ) 。 近 年 来 ， 特 别 是 在 机 器 人 领域 和 互联 网 领域 
(Brooks 1987，1989; Clark 1997) ， 研 究 的 焦点 已 转向 分 布 式 、 具 体 化 或 基于 主体 的 智能 表示 。 
下 面 对 这 三 种 表示 智能 的 方法 学 逐一 介绍 。 本 部 分 的 三 章 详细 地 介绍 了 这 些 方法 。 

在 20 世纪 50 年 代 后 期 和 60 年 代 初 期 ，Alan Newell 和 Herbert Simon 写 了 几 个 计算 机 程序 ， 
检验 启发 式 搜索 可 以 产生 智能 行为 的 假设 。 他 们 与 丁 C. Shaw 开发 的 远 辑 理论 家 程序 (Newell and 
Simon 1963a) ， 利 用 Whitehead and Russell (1950) 的 《数学 原理 》 中 的 符号 和 公理 ， 成 功 地 证 
明了 初级 逻辑 中 的 一 些 定理 。 作 者 将 他 们 的 研究 目的 描述 为 旨 在 理解 : 

有 效 求解 问题 的 复杂 过 程 〈( 启 发 ) 。 所 以 ， 我 们 感 兴趣 的 不 是 保证 能 得 到 解 的 方法 ， 而 是 需 

要 大 量 计 算 的 方法 。 举 例 来 说 ， 我 们 更 希望 理解 数学 家 如 何 能 证 明定 理 ， 即 使 他 在 开始 时 并 不 知 

道 如 何 去 做 ,或 者 不 知道 能 否 成 功 。 

在 后 来 的 通用 问题 求解 器 (GPS) 中 ，Newell and Simon (1963b，1972) 继续 努力 寻找 智能 
问题 求解 的 通用 原则 。GPS 可 以 求解 形式 化 为 状态 空间 搜索 的 问题 ; 合法 的 问题 求解 步骤 是 修改 
状态 表示 的 操作 集合 。 搜 索 的 方式 和 本 书 前 面 章节 中 讨论 的 算法 一 样 。 

GPS 使 用 手段 -目的 分 析 (means-ends analysis) 一 一 一 种 用 来 在 多 个 备 选 状态 变换 操作 中 
进行 选择 的 通用 启发 一 一 来 引导 对 问题 空间 的 搜索 。 手 段 - 目的 分 析 检查 当前 状态 和 目标 状态 
间 的 语法 差异 ， 并 选择 一 种 可 以 降低 差异 的 操作 符 。 举 例 来 说 ,假定 GPS 现在 要 证 明 两 个 逻辑 
表达 式 的 等 价 性 。 如 果 当 前 状态 包含 一 个 人 操作 符 ， 而 目标 状态 不 包含 这 样 的 操作 符 ， 那 么 手 
段 - 目的 分 析 就 会 选择 一 种 像 德 . 摩根 定律 这 样 的 转换 ， 把 人 操作 符 从 表达 式 中 移 去 (14.1 节 
对 此 进行 了 更 详细 的 描述 ， 介 绍 了 该 项 研究 的 一 些 例 子 ) 。 
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因为 使 用 的 启发 仅仅 分 析 状 态 的 语法 形式 ， 所 以 研究 者 们 希望 GPS 成 为 求解 智能 问题 的 通 
用 体系 结构 ， 适 用 于 所 有 领域 的 问题 。 像 GPS 这 样 仅 使 用 基于 语法 的 策略 、 但 目标 应 用 非常 广 
泛 的 程序 称 为 弱 方 法 问题 求解 器 。 

不幸 的 是 ， 似 乎 不 存在 一 种 单一 的 启发 可 以 成 功 地 求解 所 有 领域 的 问题 。 通 常 ， 在 求解 每 个 
问题 的 方法 中 都 使 用 了 有 关 具 体 情 况 的 大 量 知识 。 医 生 能 够 诊断 疾病 是 因为 他 们 除了 具有 一 般 
的 问题 求解 能 力 外 ， 还 具有 医学 方面 的 广泛 知识 。 建 筑 师 可 以 设计 房屋 是 因为 他 们 懂 建 筑 学 。 事 
实 上 ， 用 在 医疗 诊断 中 的 启发 对 办 公 建 筑 设计 可 能 毫 无 用 处 。 

弱 方 法 和 强 方法 形成 了 鲜明 的 对 比 ， 后 者 大 量 使 用 有 关 特 定 问题 域 的 知识 。 考 虑 一 个 用 来 
诊断 和 分 析 汽 车 故障 的 规则 : 


如 果 发 动机 不 转 ， 而 且 灯 不 亮 ; 
那么 是 电池 或 电缆 出 了 问题 (0.8) 。 


这 一 启发 一 一 用 “如 果 …… 那 么 ……” 短语 表达 的 规则 一 一 搜索 的 焦点 集中 在 汽车 的 电池 / 
电缆 子 系统 ， 排 除了 其 他 部 件 ， 修 剪 了 搜索 空间 。 注 意 : 不 同 于 手段 - 目的 分 析 ， 这 个 启发 使 用 
了 汽车 如 何 工 作 的 经 验 性 知识 ， 比 如 电池 、 车 灯 和 发 动机 之 间 关系 的 知识 。 这 个 启发 对 车 辆 修理 
领域 外 的 问题 是 没有 用 的 。 

强 方法 问题 求解 器 不 仅 使 用 具体 领域 知识 ， 而 且 通 常 需要 大 量 这 样 的 知识 才能 有 效 工 作 。 
例如 ， 在 诊断 化 油 器 故障 时 ， 电 池 损 坏 的 启发 是 没 多 大 用 处 的 ， 而 且 对 于 其 他 领域 来 说 是 完全 没 
用 的 。 因 此 ， 设 计 基 于 知识 程序 的 一 个 主要 难题 是 如 何 获取 和 组 织 领域 中 的 大 量 知识 。 问 题 域 中 
的 规则 还 可 以 包含 一 个 尺度 〈 比 如 上 面 的 0.8) ,反映 诊断 者 对 这 部 分 领域 知识 的 信心 。 

在 使 用 强 方法 时 ， 程 序 设 计 者 同时 也 对 智能 系统 的 特征 做 出 了 一 些 假定 。Brian Smith 
(1985) 将 这 些 假定 归纳 为 知识 表示 假设 ,该 假设 指出 : 


任何 机 械 表 达 的 智能 过 程 都 由 具有 以 下 特征 的 结构 化 因素 构成 : (a) 外 部 观察 者 可 以 自然 给 
出 整个 过 程 展现 的 知识 的 命题 表示 ; (b) 独立 于 这 种 外 部 语义 属性 ， 在 产生 表现 知识 的 行为 中 起 
到 了 形式 作用 。 


这 一 假设 的 第 一 个 重要 内 涵 是 ,假定 知识 是 通过 命题 表示 的 ， 也 就 是 显 式 地 表示 出 问题 中 
的 知识 ， 而 且 在 外 部 观察 者 看 来 ， 这 种 表示 是 对 知识 的 “自然 ”描述 。 第 二 个 主要 假定 是 系统 
中 的 行为 ， 形 式 上 可 以 看 作 是 由 知识 库 中 的 命题 直接 导致 ， 而 且 这 个 行为 应 该 与 产生 它 的 命题 
含义 一 致 。 

最 后 一 种 AI 表示 模式 经 常 描述 为 基于 主体 的 、 具 体 化 的 、 或 者 涌现 的 问题 求解 。 一 些 致力 
于 机 器 人 、 游 戏 设 计 和 互联 网 等 应 用 领域 的 学 者 对 前 面 讲 的 两 种 模式 提出 了 挑战 ， 对 需要 集中 
式 的 知识 库 或 者 通用 的 推理 表示 模式 提出 了 质疑 ， 这些 人 包括 Brooks (1987,，1989)、Agre and 
Chapman (1987)、 Jennings (1995)、 Wooldridge (2000)、Wooldridge 等 (2006 ，2007 ) 、Fatima 
等 《2004，2005，2006) 以 及 Vieira 等 〈2007) 。 他 们 把 问题 求解 器 设计 成 很 多 分 布 的 主体 ， 这 
些 主体 具有 情景 化 、 自 主 、 灵 活 等 特征 。 

根据 这 一 观点 ， 问 题 求 解 过 程 是 分 布 式 的 ， 多 个 主体 各 自 执行 问题 域 中 不 同 环境 下 的 任务 ， 
例如 互联 网 浏览 器 或 安全 主体 的 活动 。 因 此 ， 问 题 求 解 任务 分 解 为 多 个 部 分 ， 这 些 部 分 间 很 少 或 
者 没有 总 体 协 作 。 情 景 化 的 主体 可 以 从 它 所 处 的 特定 环境 中 接收 到 传感器 输入 ， 并 根据 环境 做 
出 反应 ， 而 不 必 等 待 总 控制 器 的 指令 。 例 如 在 交互 式 游 戏 中 ， 主 体 都 忙于 特定 的 局 部 任务 ， 比 如 
抵御 特定 入 侵 或 者 发 出 报警 ， 它 们 根本 不 需要 了 解 整 个 问题 域 的 总 体 情况 。 

很 多 情况 下 ， 主 体 需 要 在 没有 人 类 或 某 个 全 局 控制 过 程 的 直接 干预 的 情况 下 做 出 反应 ， 从 
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这 个 意义 上 说 主体 是 自主 的 。 自 主 主体 可 以 独立 控制 自己 的 动作 和 内 部 状态 。 一 些 主体 系统 甚 
至 能 够 从 经 历 中 学 习 。 主 体 的 最 后 一 个 特征 是 它 的 灵活 性 ， 能 够 对 所 处 局 部 环境 的 情况 做 出 迅 
速 反应 。 它 们 也 具有 前 上 脆性 (proactive) ， 因 为 它们 能 够 对 环境 的 变化 预先 做 出 准备 。 最 后 必须 
能 够 和 问题 域 中 的 其 他 主体 灵活 合作 ， 就 任务 、 目 标 和 处 理 方法 进行 沟通 。 

机 器 人 领域 的 几 个 学 者 已 经 建成 了 基于 主体 的 系统 。 麻 省 理工 学 院 机 器 人 研究 实验 室 的 
Rodney Brooks (1987，1989) 已 经 设计 出 了 一 种 称 为 包容 体系 结构 (subsumption architecture) 的 
系统 ， 由 一 系列 分 层 的 有 限 状 态 自 动机 序列 构成 ， 每 一 层 在 自己 的 环境 中 活动 ， 同 时 支持 更 高 层 
的 功能 。 卡 内 基 ' 梅 隆 大 学 机 器 人 研究 实验 室 的 Manuela Veloso 等 (2000) 设计 出 了 一 队 英 式 足 
球 队员 机 器 人 主体 ， 可 以 在 英 式 足球 锦标 赛 对 抗 环 境 中 相互 协作 。 

一 些 研究 科学 问题 的 哲学 家 ， 包 括 Dan Dennett (1991，1995) 和 Andy Clark (1997), 认为 
这 种 情境 化 的 具体 表示 方法 是 对 人 类 智能 的 恰当 描述 。 在 本 书后 面 的 章节 中 介绍 了 更 多 的 表示 
模式 ,包括 连接 ( 见 第 11 章 ) 和 遗传 ( 见 第 12 章 ) 方法 。 第 16 章 中 再 次 讨论 了 通用 表示 
问题 。 

第 7 章 详细 分 析 了 ATI 通信 中 使 用 的 很 多 表示 方法 。 我 们 首先 介绍 了 早期 的 表示 方法 ， 包括 
语义 网 、 脚 本 、 框 架 和 对 和 象 。 我 们 从 发 展 的 角度 介绍 这 些 表示 模式 ， 目 的 是 说 明 现代 工具 是 如 何 
从 这 些 早期 的 AI 研究 中 发 展 起 来 的 。 接 下 来 给 出 了 John Sowa 的 概念 图 (conceptual graph) ， 这 
是 自然 语言 理解 中 使 用 的 一 种 表示 。 最 后 介绍 了 基于 主体 和 情景 的 表示 方法 ， 包 括 Rodney 
Brooks 的 包容 结构 ， 并 由 此 讨论 了 是 否 需 要 显 式 的 中 央 知 识 库 及 通用 目的 控制 器 。 

第 8 章 讨 论 知 识 密集 型 系统 ， 并 分 析 与 获取 、 形 式 化 和 调试 知识 库 有 关 的 多 个 问题 。 我 们 将 
介绍 用 于 规则 系统 的 不 同 推理 表示 模式 ,包括 目标 驱动 和 数据 驱动 推理 。 除 了 基于 规则 的 推理 
系统 外 ， 还 将 介绍 基于 模型 和 基于 案例 的 推理 系统 。 这 些 系 统 的 一 种 做 法 是 显 式 表示 问题 域 
(比如 电子 电路 ) 中 的 理论 基础 和 功能 ， 而 另 一 种 做 法 是 建立 一 个 累积 的 数据 库 ， 记 录 问 题 域 中 
以 前 成 功 和 失败 的 案例 ， 用 于 求解 将 来 的 问题 。 最 后 ， 我 们 通过 简单 浏览 规划 〈 在 像 机 器 人 控 
制 这 样 的 复杂 领域 中 ， 组 织 知 识 来 控制 问题 求解 过 程 ) 来 总 结 第 8 章 。 

第 9 章 介绍 了 表示 具有 模糊 性 和 (或 ) 不 确定 性 的 推理 问题 的 技术 。 在 这 些 情况 下 ， 我 们 
的 目标 是 努力 得 到 对 模棱两可 信息 的 最 佳 解释 。 这 种 类 型 的 推理 经 常 称 为 反 绎 (abductive)。 首 
先 介 绍 了 非 单调 以 及 真 值 维 持 逻 辑 ， 并 对 传统 谓词 逻辑 进行 了 扩展 ， 以 处 理 带 有 不 确定 性 的 情 
况 。 然 而 ， 很 多 有 趣 而 且 重 要 的 问题 求解 方法 无 法 在 演绎 逻辑 框架 下 发 挥 最 大 的 作用 。 因 此 我 们 
介绍 了 一 些 其 他 的 工具 处 理 这 样 的 情况 ， 这 些 工具 包括 贝 叶 斯 技术 、Dempster-Shafer 方法 以 及 斯 
坦 福 确定 度 代数 。 还 将 用 一 节 来 介绍 模糊 推理 。 我 们 用 不 确定 情况 下 的 随机 方法 学 结束 第 三 部 
分 ,介绍 了 贝 叶 斯 信念 网 络 、 马 尔 可 夫 模 型 、 耻 马尔 可 夫 模 型 和 一 些 相关 的 方法 。 


第 7 章 知识 表示 


这 部 巨著 乃至 宇宙 …… 都 是 用 数学 语言 写 的 ， 其 字符 是 三 角 、 圆 和 其 他 的 几何 图 形 。 离 开 这 
些 图 形 ， 人 类 根本 无 法 理解 其 中 的 只 言 片 语 ; 离开 这 些 图 形 ， 就 会 陷入 漆黑 的 迷宫 …… 
伽利略 〈Galileo Galilei 1638 ) 


因为 任何 生物 体 都 无 法 一 一 处 理 无 限 的 多 样 性 ， 所 以 所 有 生物 体 的 一 个 基本 功能 就 是 把 环 
境 分 解 为 一 个 个 类 ， 通 过 分 类 可 以 把 不 完全 相同 的 刺激 看 成 是 等 价 的 刺激 ……' 
Eleanor Rosch, 《分 类 原理 》(1978) 


我 们 总 可 以 谈论 两 个 世界 ,不 妨 称 其 为 “物理 世界 ”和 “感知 世界 ”， 或 者 用 你 喜欢 的 其 他 
称呼 。 前 者 用 来 处 理 定量 而 且 具 有 形式 结构 的 问题 ， 后 者 用 来 描述 构成 “世界 ”的 各 种 特征 。 
所 有 人 都 有 自己 独特 的 精神 世界 ， 有 自己 的 心路 历程 和 美好 蓝图 ， 而 且 对 于 我 们 中 的 大 多 数 人 
来 说 ， 根 本 不 需要 把 这 些 和 神经 学 “关联 ”起 来 。 

Oliver Sacks ， 《 错 把 太太 当 帆 子 的 人 》 (1987) 











7.0 知识 表示 问题 


智能 问题 求解 中 的 信息 表示 是 AI 中 的 一 个 核心 问题 ， 在 这 一 领域 中 始终 存在 着 很 多 重要 又 
难以 逾越 的 挑战 。 在 7. 1 节 中 简要 地 回顾 了 早期 表示 研究 的 历史 ， 讨 论 的 主题 包括 语义 网 、 概 念 
依赖 性 、 肢 本 和 框架 。7.2 节 中 介绍 了 一 种 用 于 自然 语言 程序 中 的 更 新 的 表示 方法 一 John Sowa 的 
概念 图 。 在 7.3 节 中 对 是 否 需 要 创建 集中 式 的 知识 库 和 显 式 的 表示 模式 提出 了 质疑 。Brooks 采取 
的 另 一 种 方法 是 用 于 机 器 人 的 包容 体系 结构 。7.4 节 介 绍 了 替代 集中 控制 的 另 一 种 方案 一 一 主 
体 。 在 后 面 的 章节 中 ， 把 对 表示 问题 的 讨论 扩展 到 了 一 些 更 广泛 的 领域 ， 包 括 随 机 性 〈 见 9. 3 节 
和 第 13 章 ) 、 连 接 ( 见 第 11 章 ) 以 及 遗传 /涌现 〈 见 第 12 章 ) 。 

下 面 先 介绍 -一 种 历史 较 久 的 观点 ， 以 此 开始 关于 知识 表示 问题 的 讨论 。 这 种 观点 把 知识 库 
描述 为 “问题 域 中 的 对 象 和 关系 ”与 “程序 中 的 计算 对 象 和 关系 ” 间 的 映射 〈Bobrow 1975)。 
知识 库 中 的 推理 结果 应 该 和 现实 世界 中 的 动作 或 观察 结果 对 应 。 知 识 表示 语言 就 是 计算 对 象 、 
关系 和 程序 员 可 用 推理 间 的 媒介 。 

很 多 关于 知识 组 织 的 一 般 原理 适用 于 不 辣 的 领域 ,而且 可 以 由 表示 语言 直接 支持 。 举 例 来 
说 ， 类 层次 既 出 现在 科学 分 类 系统 中 ， 又 出 现在 日 常 分 类 系统 中 。 如 何 才能 给 出 一 种 表示 类 层次 
的 通用 机 制 呢 ”如 何 表示 定义 及 例外 ? 智能 系统 何 时 使 用 默认 假定 弥补 残缺 信息 ， 如 果 这 些 假定 
证 明 是 错误 的 ， 那 么 该 如 何 调整 推理 ? 怎样 表示 时 间 才 是 最 佳 的 ? 以 及 怎样 表示 因果 关系 ? 不 确 
定性 ? 要 想 在 建立 智能 系统 方面 取得 突破 ， 就 必须 发 现 新 的 知识 组 织 原理 并 用 更 高 层 的 表示 工 
具 支 持 这 一 原理 。 

把 表示 模式 scheme) 和 实现 它 的 媒介 (medium) 区 分 开 是 有 意义 的 。 这 类 似 于 把 数据 结 
构 和 程序 设计 语言 区 分 开 来 。 程 序 设计 语言 是 实现 的 媒介 ; 数据 结构 是 表示 模式 。 一 般 来 讲 ， 知 
识 表示 语言 比 谓词 演算 或 者 程序 设计 语言 具有 更 强 的 约束 性 。 这 些 约束 就 是 表示 各 类 知识 的 显 
式 结构 。 实 现 这 些 约束 的 媒介 可 能 是 Prolog、LISP 或 是 像 C + 或 Java 这 样 的 语言 。 

以 上 讨论 简 述 了 对 AI 表示 模式 的 传统 观点 ， 该 观点 经 常 包 括 一 个 全 局 性 的 语言 结构 的 知识 
库 ， 组 成 知识 库 的 语言 结构 是 以 对 “真实 世界 ”的 “预先 偏 置 ” 为 基础 的 ， 是 静态 的 。 很 多 近 
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期 的 研究 成 果 已 经 对 这 种 传统 方法 提出 了 质疑 ， 这 包括 机 器 人 领域 的 最 新 研究 (Brooks 1991a， 
Lewis and Luger 2000) 、 情 景 认 知 (Agre and Chapman 1987 ，Lakoff and Johnson 1999 ) 、 基 于 主体 
的 问题 求解 (Jennings et al. 1998; Wooldridge 2000; Fatima et al. 2005 ，2006 ;Vieira et al. 2007 ) 
以 及 哲学 方面 的 研究 (Clark 1997) 。 这 些 问题 域 需要 分 布 式 知识 、 一 个 本 身 可 以 用 做 部 分 知识 
结构 的 世界 、 使 用 部 分 信息 推理 的 能 力 以 及 随 着 问题 域 的 变化 而 进化 的 表示 。7. 3 节 和 7.4 节 中 
介绍 了 这 些 方法 。 


7.1 Al 表示 模式 的 简要 历史 


7.1.1 语义 关联 理论 


逻辑 表示 源 于 哲学 家 和 数学 家 对 描述 正确 推理 原则 的 努力 。 逻 辑 所 关心 的 问题 是 开发 出 具 
有 可 靠 且 完备 的 推理 规则 的 形式 表示 语言 。 因 此 ， 谓 词 演算 语义 强调 了 对 合式 表达 式 的 保持 真 
值 运算 。 另 一 种 研究 路 线 起 源 于 心理 学 家 和 语言 学 家 为 刻画 人 类 理解 的 本 质 所 做 的 努力 。 这 类 
研究 不 太 关心 能 和 否 建立 出 正确 推理 的 规则 ， 更 关心 如 何 描述 人 类 用 来 获 了 到、 关联 和 使 用 所 处 世 
界 知识 的 实际 方式 。 已 经 证 明 这 种 方法 对 于 自然 语言 理解 和 常识 推理 这 样 的 应 用 领域 特别 有 效 。 

在 把 常识 推理 映射 到 形式 逻辑 时 会 产生 很 多 问题 。 例 如 ,很 多 人 认为 操作 符 人 和 一 对 应 于 
英语 中 的 “or” 和 “f…then…”。 然 而 ， 在 逻辑 中 这 些 操作 符 关心 的 是 真实 性 ， 忽 略 了 英语 “站 
…then…” 中 前 提 和 结论 之 间 的 特定 关系 (经 常 是 一 种 相关 的 关系 ， 而 不 是 因果 关系 ) 这 一 事 
实 。 例 如 ， 可 以 把 这 旬 话 “如 果 一 只 鸟 是 北美 红 洽 (cardinal) ， 那 么 它 就 是 红色 的 ”( 把 北美 红 
党 和 红色 联系 起 来 ) 写成 谓词 演算 的 形式 : 


VX(cardinal( X)—red( X)) 
可 以 通过 第 2 章 介绍 的 一 系列 保持 真 值 运算 修改 这 个 表达 式 ， 使 其 变 成 如 下 的 等 价 形式 : 
VX(- red(X)—- cardinal( X)) 


这 两 个 表达 式 在 逻辑 上 是 等 价 的 ， 也 就 是 当 且 仅 当 第 一 个 表达 式 为 真 时 第 二 个 表达 式 为 真 。 然 
而 ， 在 这 种 情况 下 真 值 等 价 性 却 不 适用 。 假 设 我 们 要 寻找 证 实 以 上 两 个 陈述 真实 性 的 证 据 ， 那 么 
“本 书页 不 是 红色 的 ， 而 且 也 不 是 北美 红 省 ”这 一 事实 可 以 作为 证 明 第 二 个 表达 式 为 真 的 证 据 。 
因为 两 个 表示 式 是 敢 辑 等 价 的 ， 所 以 可 以 推出 它 也 是 证 明 第 一 个 表达 式 为 真 的 证 据 。 便 得 到 了 
这 一 结论 :“ 本 书页 的 白色 性 ”可 以 作为 证 明 “ 北 美 红 上 省 为 红色 ”的 证 据 。 

这 个 推理 路 线 是 没有 意义 的 ， 而 且 非 常 可 笑 。 导 致 这 种 不 相 容 性 的 原因 是 逻辑 草 涵 仅 表 达 
一 种 操作 数 的 真 值 之 间 的 关系 ， 而 英语 句子 蕴涵 了 “一 个 类 中 的 成 员 ” 和 “类 中 成 员 拥 有 这 个 
类 的 属性 ” 间 的 正 相 关 性 。 事 实 寺 ， 鸟 的 遗传 性 导致 它 具 有 某 种 颜色 。 这 种 关系 在 第 二 个 版 本 
的 表达 式 中 丢失 了 。 尽 管 “ 这 页 纸 不 是 红色 ”这 一 事实 和 两 个 句子 的 真 值 是 一 致 的 ， 但 是 这 和 
鸟 的 颜色 这 一 因果 特征 没有 关系 。 

传统 的 来 源 于 哲学 中 经 验 主 义 的 联想 论 者 (associationist) 通过 一 个 对 象 与 其 他 对 象 间 的 关 
联网 络 来 定义 这 个 对 象 的 含义 。 在 联想 论 者 看 来 ， 当 人 感受 或 者 思考 一 个 对 象 时 ， 这 种 感知 首先 
映射 为 一 个 概念 。 这 个 概念 是 我 们 对 世界 的 整个 知识 的 一 部 分 ， 并 且 通 过 合适 的 关系 和 其 他 概 
念 相连 。 这 些 关系 形成 一 种 对 于 对 象 (比如 雪 ) 行为 和 属性 的 理解 。 例 如 ， 根 据 经 验 ， 我 们 会 
把 “ 雪 ” 这 个 概念 和 像 “寒冷 、 白 色 、 雪 人 、 滑 和 冰 ” 这 样 的 其 他 概念 关联 起 来 。 我 们 对 雪 的 
理解 以 及 像 “ 雪 是 白色 的 ”这 样 的 陈述 都 来 自 于 关联 网 络 。 

心理 学 上 的 证 据 表 明 人 类 除了 具有 关联 概念 的 能 力 外 ， 还 可 以 分 层 地 组 织 知 识 ， 把 信息 放 


762 名 三 部 分 请 恬 和 鲁能; 47 内 的 赤 战 











在 最 合适 的 分 类 层次 上 。Collins 和 Quillian (1969) 用 语义 网 ( 见 图 7-1) 对 人 类 的 信息 存储 和 
管理 进行 了 建 模 。 这 种 层次 结构 是 从 对 接受 实验 者 ( 受 试 者 ) 的 测试 结果 中 得 到 的 。 在 实验 中 ， 
受 试 者 要 回答 很 多 关于 鸟 属性 的 问题 ， 比 如 “ 金 丝 省 是 鸟 吗 ?”“ 金 丝 和 党 会 唱歌 吗 ?” 以 及 “人 金 丝 
省 会 飞 吗 ?” 


解释 反应 数据 的 假定 层次 所 光 
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图 7-1 语义 网 
注 : 这 是 Collins 和 Quillian 开发 的 语义 网 ， 用 来 研究 人 类 的 信息 存储 和 反应 时 间 〈Harmon and King 1985 ) 


这 些 问 题 的 答案 就 像 看 起 来 那么 简单 ， 反 应 时 间 研 究 指 出 受 试 者 回答 “ 金 丝 省 会 飞 吗 ?” 比 
回答 “人 金 丝 逢 会 唱歌 吗 ?” 所 用 的 时 间 长 。Collins 和 Quillian 通过 论证 人 类 存储 的 是 最 抽象 层 信 
息 来 解释 反应 时 间 上 的 差异 。 他 们 认为 ， 人 类 并 不 是 努力 去 回忆 人 金 丝 省 会 飞 、 知 更 鸟 会 飞 、 燕 子 
会 飞 以 及 对 应 每 一 种 鸟 的 情况 的 信息 ; 而 是 记 住 金 丝 省 是 一 种 鸟 ， 而 且 乌 〈 通 常 ) 具有 飞行 的 属 
性 。 像 进食 、 呼 吸 和 运动 这 样 更 一 般 的 特征 存储 在 “动物 ” 层 ， 因 此 要 回忆 人 金 丝 雀 能 否 呼吸 比 回 忆 
它 是 否 会 飞行 要 用 更 长 的 时 间 。 这 是 因为 人 类 必须 向 上 追溯 更 多 的 记忆 结构 层次 来 取得 答案 。 

回忆 最 快 的 是 这 种 鸟 特有 的 属性 ， 比 如 说 ， 它 可 以 唱歌 或 者 它 是 黄色 的 。 例 外 处 理 似 乎 也 是 
在 最 特别 的 层次 上 完成 。 当 询问 受 试 者 能 鸟 是 否 会 飞 时 ， 产 生 回 答 的 速度 要 比 询 问 能 岛 是 否 会 
呼吸 快 。 因 此 要 得 到 这 种 例外 信息 似乎 并 不 是 经 过 “ 舵 鸟 一 鸟 一 动物 ”这 样 的 层次 ,例外 信息 
是 直接 存储 的 ， 在 继承 系统 中 使 用 了 这 种 知识 组 织 方 法 。 

继承 系统 让 我 们 可 以 在 最 高 抽象 层 存 储 信息 ， 这 降低 了 知识 库 的 大 小 并 有 助 于 防止 更 新 上 
的 不 一 致 。 举 例 来 说 ， 如 果 我 们 在 建立 一 个 关于 鸟 的 知识 库 ， 那 么 可 以 定义 一 个 通用 的 类 
“ 鸟 "， 包 含 所 有 鸟 都 具有 的 特征 ， 比 如 飞行 或 有 羽毛 。 然 后 允许 某 一 特定 的 鸟 类 继承 这 些 特征 。 
这 样 只 需要 定义 这 些 特征 一 次 ， 从 而 降低 了 知识 库 的 大 小 。 继 承 还 可 以 帮助 我 们 在 加 入 新 的 类 
和 个 体 时 维护 知识 库 的 一 致 性 。 假 定 我 们 现在 要 向 现 有 知识 库 中 加 入 知 更 鸟 这 个 类 。 当 我 们 断 
言 “ 知 更 鸟 ” 是 “会 唱歌 的 鸟 ”的 子 类 时 ， 那 么 知 更 鸟 便 继承 了 “会 唱歌 的 鸟 ” 和 “ 岛 ” 的 公 
共 属 性 。 这 不 取决 于 程序 员 是 否 记 住 或 忘记 加 入 这 个 信息 。 

图 提供 了 一 种 利用 弧 和 结 点 显 式 表示 关系 的 手段 ,已 经 证 明 图 是 形式 化 联想 理论 的 理想 工 
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具 。 语 义 网 把 知识 表示 为 一 种 图 ， 结 点 对 应 事实 或 者 概念 ， 弧 对 应 概念 之 间 的 关系 和 关联 。 通 党 
不 论 是 结 点 还 是 弧 线 都 带 标签 。 例 如 ， 图 7-2 中 的 语义 网 定义 了 “ 雪 ” 和 “ 冰 ” 的 属性 。 可 以 
《结合 适当 的 推理 工具 ) 利用 这 个 网 络 回答 很 多 关于 雪 、 冰 和 雪人 的 问题 。 这 些 推理 是 通过 跟踪 
有 关 概 念 间 的 连接 来 完成 的 。 语 义 网 还 实现 了 继承 ， 比 如 有 和 霜 的 雪人 继承 了 雪人 的 所 有 属性 。. 


雪 是 水 的 一 种 形式 








雪人 是 由 雪 制 成 的 







有 着 的 雪人 是 
雪人 的 一 个 实例 







冰 是 水 的 一 种 形式 


图 7-2 “ 雪 ” 和 “ 冰 ” 属 性 的 网 络 表示 


“语义 网 ”这 一 术语 涵盖 了 一 组 基于 图 的 表示 。 这 些 表 示 在 以 下 两 方面 有 所 不 同 ， 允许 结 点 
和 连接 使 用 的 名 字 ; 在 这 些 结构 上 可 以 进行 的 推理 。 然 而 ， 所 有 的 网 络 表示 语言 都 具有 一 些 共 同 
的 假定 和 目标 ; 对 网 络 表示 历史 的 讨论 阐述 了 这 些 特征 。 在 7. 2 节 中 ， 我 们 将 分 析 概 念 图 (Sowa 
1984) ， 它 是 一 种 更 新 的 网 络 表示 ， 集 成 了 很 多 这 种 思想 。 


7.1.2 语义 网 的 早期 研究 


网 络 表示 的 历史 几乎 和 逻辑 的 历史 一 样 长 。 希 腊 哲 学 家 Porphyry 发 明了 以 树 为 基础 的 层次 结 
构 来 描述 亚 里 士 多 德 的 分 类 (Porphyry 1887) ， 特 点 是 根 在 顶部 。Frege 为 逻辑 表达 式 开发 了 一 种 
树 表示 法 。 对 现代 语义 网 有 直接 影响 的 最 早 研究 也 许 是 Charles S. Peirce 的 存在 图 系统 ， 开 发 于 
19 世纪 (Roberts 1973 ) 。Peirce 的 理论 具有 一 阶 谓词 演算 的 所 有 表达 能 力 ， 是 以 公理 为 基础 的 形 
式 推 理 规则 。 

心理 学 从 很 久 以 前 便 开 始 用 图 来 表示 概念 和 关联 结构 。Selz (1913 ，1922) 首先 进行 了 这 一 
研究 ， 用 图 来 表示 概念 层次 和 属性 继承 。 他 还 开发 了 一 种 图 解 预测 理论 ， 影 响 了 AI 在 框架 和 图 
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示 方 面 的 研究 。Anderson 、Norman、Rumelhart 等 人 已 经 用 网 络 对 人 类 记忆 和 智能 行为 建 模 (An- 
derson and Bower 1973, Norman et al. 1975), 

网 络 表 示 的 大 多 数 研究 工作 都 是 在 自然 语言 理解 这 一 领域 中 完成 的 。 通用 情况 下 的 语言 
解 需要 对 常识 的 理解 ， 即 物理 对 象 的 行为 方式 、 和 人 之 间 的 交互 以 及 人 类 机 构 的 组 织 方式 等 。 一 
个 自然 语言 程序 必须 理解 意图 、 信 念 、 假 设 推理 、 规 划 及 目标 等 概念 。 因为 需要 非常 多 的 知识 ， 
所 以 自然 语言 理解 始终 是 推动 知识 表示 研究 的 力量 。 

语义 网 第 一 次 在 计算 机 上 实现 是 在 20 世纪 60 年 代 初 期 用 于 开发 机 器 翻译 系统 。Masterman 
(1961) 定义 了 100 种 基本 概念 类 型 ， 并 使 用 这 一 集合 定义 了 包含 15 000 个 概念 的 词典 。Wilks 
(1972) 继续 了 Masterman 的 工作 。Shapiro (1971) 的 MIND 程序 第 一 个 实现 了 基于 命题 演算 的 
语义 网 。 其 他 探索 网 络 表示 的 早期 AI 工作 者 还 包括 Ceccato (1961) 、Raphael (1968) 、Reitman 
(1965) 及 Simmons (1966)。 

Quillian 在 20 世纪 60 年 代 后 期 编写 了 一 个 很 有 影响 的 程序 ， 演 示 了 早期 语义 网 的 很 多 特征 
(Quillian 1967) 。 这 个 程序 以 几乎 和 字典 相同 的 方式 定义 英语 单词 一 个 单词 是 通过 其 他 单词 定 
义 的 ， 定 义 中 的 各 个 部 分 也 是 按 这 种 方式 定义 的 。 不 是 使 用 基本 公理 来 定义 单词 ， 每 个 定义 只 是 
以 一 种 没有 固定 结构 的 而 且 可 能 循环 的 方式 引 向 其 他 的 定义 。 在 查 一 个 单词 时 ， 遍历 这 个 “网 
络 ”， 直 到 我 们 已 经 满意 于 对 原来 单词 的 解释 。 

在 Quillian 的 网 络 中 每 个 结 点 对 应 于 一 个 单词 概念 ， 并 带 有 相关 的 连接 指向 组 成 其 定义 的 其 
他 单词 。 他 把 知识 库 组 织 为 多 个 平面 (plane) ， 每 个 平面 是 定义 一 个 单词 的 图 。 图 7-3 引 自 Quil- 
lian (1967) 的 论文 ， 图 中 列 出 了 三 个 平面 ， 表 示 了 单词 “plant” 的 三 种 定义 ; 一 种 活着 的 组 织 
(plant 1) ; 人 们 工作 的 地 方 〈plant 2) ; 把 种 子 植 人 地 下 的 动作 (plant 3 ) 。 


plant:1) 不 是 动物 的 活着 的 结构 ， 经 常 带 有 时 子 ， 从 空气 、 水 和 土地 中 吸取 养分 。 
2) 工业 生产 中 使 用 的 设备 。 
3) 把 种 子 、 植 物 等 植 入 地 下 让 它 生长 。 
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图 7-3 表示 单词 “plant” 三 种 含义 的 三 个 平面 ( Quillian 1967 ) 
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Quillian 的 程序 使 用 这 个 知识 库 来 寻找 英语 单词 对 之 间 的 关系 。 给 定 两 个 单词 ， 它 就 以 宽度 
优先 的 方式 从 每 个 单词 开始 向 外 搜索 这 个 图 ， 目 的 是 寻找 一 个 共同 的 概念 一 一 即 相交 结 点 (in- 
tersection node) 。 到 这 个 结 点 的 路 径 代表 了 这 两 个 单词 概念 之 间 的 关系 。 例 如 ， 图 7-4 (3 引 自 同 
一 论文 ) 显示 了 cry 和 comfort 之 间 的 相交 路 径 (intersection path ) 。 






sound 3 





图 7-4 “cry” 和 “comfort” 之 间 的 相交 路 径 ( Quillian 1967) 
利用 这 个 相交 路 径 ， 该 程序 能 够 总 结 出 : 


活 (cry 2) 是 产生 悲伤 声音 的 其 他 行为 之 一 。 要 想 舒 适 (comfort 3) 可 以 做 (make 2) 一 些 
不 太 悲 伤 的 事 ( Quillian 1967) 。 


结果 中 的 数字 代表 程序 选择 的 是 单词 的 多 个 不 同 语义 中 的 哪 一 个 。 

Quillian (1967) 提出 这 种 面向 语义 的 方法 ， 可 以 提供 具有 如 下 能 力 的 自然 语言 理解 系统 ， 

1) 通过 建立 相交 结 点 判断 一 段 英语 文本 的 含义 。 

2) 选择 多 义 词 在 句子 中 的 语义 ， 方 法 是 寻找 到 达 句 中 其 他 单词 的 相交 路 径 ， 选 取 具 有 最 得 
相交 路 径 的 语义 。 例 如 ， 对 于 “Tom went home to water his new plant” 中 的 “plant”， 可 以 根据 单 
词 概念 “water” 和 “plant” 相 交 选 出 它 的 含义 。 

3) 以 查询 中 的 单词 概念 和 系统 中 概念 之 间 的 关联 为 基础 回答 各 种 查询 。 

尽管 这 一 人 研究 以 及 其 他 早期 研究 确立 了 图 在 关联 含义 建 模 方面 的 地 位 ,但 是 其 形式 方法 的 
绝对 通用 性 导致 其 功能 是 有 限 的 。 大 多 数 知 识 都 是 按 特定 关系 组 织 的 ， 这 些 特定 关系 可 以 是 对 
象 / 属 性 、 类 / 子 类 、 主 体 / 动 词 /目标 。 


7. 1.3 网 络 关系 的 标准 化 


就 其 本 身 而 言 ， 关 系 的 图 表示 法 比 谓词 演算 没有 什么 进步 ; 它 仅 是 对 象 之 间 关 系 的 另 一 种 
表示 法 。 实 际 上 , 语义 网 处 理 系 统 (Semantie Net Processing System ，SNePS) (Shapiro 1979, Sha- 
piro et al. 2006) 是 一 个 与 一 阶 谓词 演算 具有 同样 能 力 的 定理 证 明 器 。 网 络 表示 的 强大 之 处 来 源 
于 对 连接 和 相关 推理 规则 的 定义 ， 比 如 继承 定义 了 一 种 特殊 的 推理 关系 。 

尽管 Quillian 的 早期 研究 确立 了 语义 网 的 多 数 重 要 特征 ， 比如 带 有 标签 的 弧 和 连接 、 层 次 继 
承 及 沿 相 关连 接 进行 的 推理 。 但 是 已 经 证 明 ， 这 种 方法 在 处 理 很 多 领域 中 的 复杂 问题 时 ， 其 能 力 
是 很 有 限 的 。 导 致 这 种 有 限 性 的 一 个 主要 原因 是 缺乏 捕获 知识 的 深层 语义 特征 的 关系 (连接 )。 
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大 多 数 连 接 代表 的 都 是 结 点 之 间 的 普通 关联 ， 没 有 提供 一 种 切实 的 机 制 来 建立 语义 关系 。 使 用 谓 
词 演算 捕获 语义 也 会 遇 到 这 个 问题 。 尽 管 这 种 形式 方法 具有 很 高 的 表达 力 ， 可 以 表示 几乎 任何 种 类 
的 知识 ， 但 是 它 过 于 没有 约束 了 ， 把 建立 合适 的 事实 和 规则 集合 的 压力 都 放 到 了 程序 员 身 上 。 

Quillian 的 网 络 表 示 研 究 的 大 多 数 后 续 工 作 都 集中 在 定义 更 丰富 的 连接 标签 (关系 ) 集合 
上 ,目的 是 可 以 更 完全 地 对 自然 语言 的 语义 建 模 。 通 过 把 自然 语言 的 基本 语义 关系 实现 为 形式 
方法 的 一 部 分 ， 而 不 是 作为 领域 知识 的 一 部 分 要 由 系统 建立 者 来 加 入 ,知识 库 所 需 的 手工 劳动 
更 少 了 ， 而 且 实现 了 更 好 的 通用 性 和 一 致 性 。 

Brachman (1979) 曾经 指出 : 

这 里 的 关键 问题 是 语义 网 语言 原 语 (primitive) 的 孤立 。 网 络 语言 的 原 语 是 已 经 预先 编 人 解 

释 器 的 内 容 ， 它 们 通常 不 是 用 网 络 语言 本 身 来 表示 的 。 

Simmons (1973) 把 研究 的 焦点 集中 到 英语 动词 的 格 结构 (case structure) 上 ， 以 解决 对 标 
准 关系 的 需要 。 在 这 种 以 Filimore (1968) 早期 的 研究 为 基础 的 面向 动词 方法 中 ， 连 接 定义 了 名 
词 和 名 词 短语 在 句子 动作 中 的 角色 。 格 关系 包括 主体 、 对 象 、 工 具 、 位 置 以 及 时 间 。 一 个 句子 表 
示 为 一 个 动词 结 点 ， 并 用 不 同 的 格 连 接 指向 参与 动作 的 其 他 结 点 。 这 一 结构 称 为 案例 框架 case 
frame) 。 在 分 析 一 个 句子 时 ， 程 序 先 找到 动词 ， 并 从 知识 库 中 提取 出 这 个 动词 的 案例 框架 。 然 后 
再 把 主体 、 对 象 等 绑 定 到 案例 框架 的 适当 结 点 上 。 利 用 这 种 方法 ， 可 以 把 句子 “Sarah fixed the 
chair with glue” 表示 为 图 7-5 所 示 的 网 络 。 





图 7-5 句子 “Sarah fixed the chair with glue” 的 案例 框架 表示 


这 样 ， 表 示 语 言 本 身 捕获 了 自然 语言 的 大 多 数 深层 结构 ， 比 如 动词 与 其 主语 之 间 的 关系 
(主体 关系 ) 以 及 动词 和 对 象 之 间 的 关系 。 关于 英语 语言 格 结构 的 知识 是 网 络 形式 方法 本 身 的 一 
部 分 。 在 分 析 一 个 句子 时 ， 这 些 内 建 的 关系 指出 Sarah 是 执行 修理 的 人 ， 并 使 用 粘 合 剂 把 椅子 结合 
起 来 。 注 意 ， 这 些 语 言 学 关系 是 以 一 种 独立 于 实际 语句 乃至 用 表达 语句 的 语言 的 方式 来 存储 的 。 
Norman (1972) 以 及 Rumelhart 等 〈1972，1973) 也 提出 了 在 网 络 语言 中 使 用 类 似 的 方法 。 

有 很 多 研究 者 试图 把 连接 名 进一步 标准 化 (Masterman 1961，Wilks 1972，Schank and Colby 
1973, Schank and Nash-Webber 1975 ) 。 每 一 种 努力 都 致力 于 建立 起 一 个 完整 的 原 语 集合 ， 然后 可 
以 用 这 个 集合 以 统一 方式 表示 自然 语言 表达 的 语义 结构 。 这 样 做 的 目的 是 有 助 于 使 用 语言 结构 
进行 推理 ， 并 且 独 立 于 语言 个 体 或 短语 表达 的 特质 。 

或 许 最 雄心 勃勃 的 党 试 是 Roger Schank 的 概念 依赖 (conceptual dependency) 理论 (Schank 
and Rieger 1974) ， 目 标 是 为 自然 语言 的 深层 语义 结构 建立 形式 模型 。 概念 依赖 理论 提供 了 一 个 包 
含 4 种 原子 概念 的 集合 ， 根 据 这 4 种 原子 来 建立 语义 世界 。 这 些 概 念 是 平等 而 且 独 立 的。 它们 是 : 


ACT 动作 
PP 对 象 (picture producers ) 
AA 动作 的 修饰 语 (action aiders ) 
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PA 对 象 的 修饰 语 (picture aiders) 


举例 来 说 ， 该 理论 假定 所 有 动作 都 可 以 简化 为 一 个 或 多 个 原子 ACT。 下 面 列 出 的 这 些 原 语 作 
为 基本 的 动作 部 件 ， 通 过 修改 和 组 合 这 些 部 件 可 以 形成 更 多 的 特定 动词 。 


ATRANS 转移 一 种 关系 (give) 
PTRANS 转移 一 个 对 象 的 物理 位 置 (go) 
PROPEL 对 一 个 对 象 施加 力 (push) 
MOVE ”拥有 者 移动 身体 部 件 (kick) 
GRASP ”行动 者 抓 取 一 个 对 象 (grasp) 
INGEST 动物 摄取 一 个 对 象 (eat) 
EXPEL ”从 一 个 动物 的 体内 排出 (cry) 
MTRANS 转移 精神 信息 (tell) 

MBUILD 产生 新 的 精神 信息 (decide) 
CONC 概念 化 或 者 思考 一 个 想法 (think) 
SPEAK 产生 声音 (say) 

ATTEND 集中 感觉 器 官 (listen) 


这 些 原 语 用 来 定义 概念 依赖 关系 (conceptual dependency relationship) ， 概 念 依赖 关系 描述 了 
各 种 语义 结构 ， 比 如 格 关系 或 者 对 象 和 值 之 间 的 关联 关系 。 概 念 依赖 关系 是 概念 化 的 句法 规则 
(conceptual syntax rule) ， 并 且 组 成 了 一 种 包含 丰富 语义 关系 的 语法 。 可 以 用 这 些 关 系 来 建立 英语 
语句 的 内 部 表示 。 图 7-6 给 出 了 基本 概念 依赖 关系 的 列表 (Schank and Rieger 1974) 。 这 些 依赖 
性 捕 提 了 ， 即 它们 的 构造 者 感知 到 了 ， 自 然 语言 的 基本 语义 结构 。 举 例 来 说 ， 图 7-6 中 的 第 一 种 
概念 依赖 关系 描述 了 主语 和 动词 之 间 的 关系 ,第 三 种 描述 了 动词 - 宾语 关系 。 组 合 这 两 条 关系 
便 可 以 表示 一 种 简单 的 动 宾语 句 ， 比 如 “John throws the ball”( 见 图 7-7)。 


PP 全 ACT ”表明 一 个 行动 者 在 动作 。 
PP esPA ”表明 一 个 对 象 具有 某 种 属性 。 





O 
ACTc PP 表明 一 个 动作 的 目标 。 





R P 
“or 表明 一 个 动作 中 的 对 象 接受 者 和 施 山 者 。 
PP 
D Pp 
or 表明 一 个 动作 中 的 对 象 方向 。 
P 


ACT 坊 人 表明 -一 个 动作 的 工具 概念 化 。 


X 表明 概念 化 X 是 由 概念 化 Y 导 致 的 。 当 同时 标 有 CH 时 ， 
和 ”表示 X 可 以 导致 Y。 


PA2 
Pr[ 表明 一 个 对 象 的 状态 变化 。 
PA1 








PP1e-PP2 ”表明 PP2 要 么 是 PP1 的 一 部 分 ， 要 么 是 PP1 的 拥有 者 。 


图 7-6 概念 依赖 关系 (Schank and Rieger 1974) 
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最 后 可 以 把 时 态 信息 加 入 到 概念 集合 中 。Schank 提供 了 一 个 列表 ， 其 中 包含 了 关系 的 附件 ， 


本 oe 、 人 加 
is 下 面 是 这 个 列表 的 一 部 分 : Jopn 人 一 >-pnopEu. < Ball 
f 将 来 图 7-7 语句 “John throws the ball” 

{ 转换 的 概念 依赖 性 表示 
k 进行 

t。 ”开始 转换 

? 疑问 

t 完成 转换 

c 条 件 

/ 反 义 

nil ”现在 

delta? 不 受 时 间 影 响 的 


这 些 关系 是 这 一 理论 的 第 一 级 结构 元 素 ， 它 们 是 最 简单 的 语义 关系 ， 由 其 可 以 派生 出 更 复 
杂 的 结构 。 图 7-8 中 给 出 了 一 些 更 复杂 的 例子 ， 这 些 例子 说 明了 如 何 利 用 这 些 基 本 概念 依赖 关系 
来 表示 简单 英语 语句 的 含义 。 











P 
1. PP 人 >ACT John HPTAANS John ran. 
2. pp€==> PA John €=> height (>average) John is tall. 
3. pp€D pp John 全 > doctor John ls a doctor. 
4 个 boy Anice boy 
PA nice 
5. PP dog John's dog 
介 介 POSS-BY 
PP dohn 
6. o p o John pushed 
ACT<— PP John PROPEL €— cart the cart. 
” R PP p a John John took the 
ACT John<——>ATRANS < 对- book from Mary. 
PP 人 Mary 
book 
8. John John ate ice 
ACT | 1 JohnnCP INGEST < 一 介 cream . 
0 do 
ice cream to 
spoon 
9. D PP D field John fertilized 
ACT John ESPTRANS 
the fleld. 
PP 人 To bag 
fertilizer 
10. PA size>x The plants grew. 
PP <[ plants <[ 
PA Size=X 
Bill shot Bob. 
11，(a HO RBob 
从 从 Bi PROPEL €2- bullet 
人 一 gn 
所 (-10) 
Bob 
Pp 
12. T John ran 
2 | yesterday yesterday. 
John PTRANS 





图 7-8 一 些 基 本 的 概念 依赖 关系 以 及 如 何 使 用 它们 表示 比较 复杂 的 英语 句子 
[摘自 Schank 和 Colby (1973)] 
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基于 这 些 原 语 ， 可 以 把 这 句 英语 “John ate the egg” 表示 成 图 7-9， 其 中 的 符号 含义 如 下 ， 


全 指出 依赖 性 的 方向 
> 表明 “主体 -动词 ”关系 


p 指出 是 过 去 时 态 
INGEST 是 该 理论 中 的 一 个 原子 动作 
O 对 象 关系 


D 指出 动作 中 的 对 象 方向 


下 面 再 举 一 个 例子 来 说 明 利用 概念 依赖 性 可 以 建立 的 结构 。 图 7-10 表示 的 是 “John preven- 
ted Mary from giving a book to Bil” 这 句 话 的 概念 依赖 图 。 这 个 例子 的 有 趣 之 处 在 于 它 演示 了 如 何 
表示 因果 关系 。 











John & .po 
全 
p 。 。、 O 〇 c/ 
John © “INGEST*< -Egg Mary © “ATRANS* < Book 
Dr “INSIDE* <—— John P Rr Bil 
*MOUTH* <—— John Mary 














图 7-9 表示 “John ate the egg” 的 概念 图 7-10 句子 “John prevented Mary from giving a book to Bil” 
依赖 图 (Schank and Rieger 1974) 的 概念 依赖 表示 (Schank and Rieger 1974) 


概念 依赖 理论 产生 了 很 多 重要 的 影响 。 首 先 ， 它 为 自然 语言 语义 提供 了 一 套 形式 理论 ， 这 大 
大 减少 了 模棱两可 的 问题 。 其 次 ， 它 为 语句 的 含义 提供 了 一 种 范式 (canonical form) ， 直 接 捕 获 
了 自然 语言 的 大 部 分 语义 。 也 就 是 说 ， 具 有 同一 含义 的 所 有 语句 会 在 内 部 表示 为 语法 相同 (不 
仅 是 语义 等 价 ) 的 图 ， 这 种 正规 表示 简化 了 理解 所 需 的 推理 。 例 如 ， 我 们 可 以 通过 匹配 简单 的 
概念 依赖 图 来 说 明 两 个 语句 指 的 是 同一 件 事 ; 而 没有 提供 范式 的 表示 可 能 就 需要 在 不 同 结构 的 
图 上 进行 大 量 的 运算 。 

然而 ， 是否 可 以 写 出 一 个 把 语句 简化 为 范式 的 可 靠 程序 却 是 值得 怀疑 的 。 正 如 Woods 
(1985) 等 人 指出 的 ， 可 以 证 实 把 独 异 点 (monoid) (一 种 比 自然 语言 简单 的 代数 群 ) 简化 为 范 
式 ， 在 计算 来 说 是 不 可 行 的 。 此 外 ， 根 本 没有 证 据 表 明 人 类 是 按 任何 范式 来 存储 知识 的 。 

对 这 种 观点 的 其 他 批评 意见 是 对 要 把 所 有 语句 都 简化 成 底层 原 语 所 需 的 计算 代价 不 满意 。 
此 外 ， 这 些 原 语 还 不 足以 表示 出 自然 语言 中 一 些 很 重要 的 微妙 概念 。 举 例 来 说 ,图 7-8 中 第 二 个 
语句 的 “tal” 的 表示 ， 在 表达 这 个 词 的 二 义 性 方面 就 没有 模糊 逻辑 系统 做 的 那么 细致 〈 参 见 
Zadeh 1983 以 及 9.2.2 节 ) 。 

不 过 ， 没 有 人 人 怀疑 概念 依赖 理论 还 一 直 在 广泛 地 研究 和 理解 。Schank 领导 的 研究 已 经 持续 
了 十 几 年 ， 他 们 一 直 致 力 于 如 何 提炼 和 扩展 这 一 模型 。 概 念 依 赖 模型 的 重要 扩充 包括 脚本 和 内 
存 组 织 包 〈(MOP) 。 脚 本 方面 的 研究 分 析 了 知识 在 内 存 中 的 组 织 ， 以 及 这 种 组 织 在 推理 中 的 作用 
( 见 7.1.4 节 )。MOP 为 基于 案例 的 推理 程序 的 设计 提供 了 支持 ， 见 8.3 节 。 和 总 之 ， 概 念 依 赖 理 
论 是 一 套 完整 的 自然 语言 语义 模型 ， 具 有 广泛 的 适用 性 。 


7. 1.4 脚本 


自然 语言 理解 程序 即使 要 理解 非常 简单 的 会 话 ， 也 需要 使 用 非常 大 量 的 背景 知识 〈 见 15.0 
节 )。 有 证 据 表明 人 类 是 把 知识 组 织 成 与 各 种 典型 情况 相对 应 的 结构 (Bartlett 1932 ) 。 如 果 在 阅 
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读 一 篇 关于 饭店 、 篮 球 或 者 警 探 的 故事 ， 那 么 我 们 会 以 一 种 和 饭店 、 篮 球 或 警 探 一 致 的 方式 来 解 
决 文中 的 二 义 性 。 如 果 故 事 的 主题 发 生 了 意 想不到 的 改变 ， 那么 有 证 据 表明 阅读 会 发 生 短暂 的 
停顿 ， 这 被 认为 是 在 改变 知识 结构 。 一 篇 组 织 或 者 结构 很 差 的 故事 是 很 难 理解 的 ， 这 可 能 就 是 因 
为 我 们 不 能 很 容易 地 把 它 和 现 有 的 任何 知识 结构 拟 合 起 来 。 当 对 话 的 主题 突然 改变 时 ， 也 可 能 
存在 理解 上 的 错误 ， 这 是 因为 我 们 混淆 了 解决 对 话 中 的 代词 所 指 或 其 他 歧义 应 该 使 用 的 上 下 文 。 

肢 本 《script) 是 一 种 结构 化 的 表示 ， 用 来 描述 特定 上 下 文中 固定 不 变 的 事件 序列 。 脚 本 最 
先是 由 Schank 和 他 的 研究 小 组 设计 的 〈Schank 和 Abelson 1977) ， 用 来 作为 一 种 把 概念 依赖 结构 
组 织 为 典型 情况 描述 的 手段 。 自 然 语 言 理解 系统 使 用 脚本 来 根据 系统 要 理解 的 情况 组 织 知识 库 。 

大 多 数 成 年 人 在 饭店 中 都 不 会 感到 任何 不 自在 (因为 ， 作 为 顾客 ， 他 们 知道 想 要 什么 以 及 
如 何 去 做 ) 。 他 们 在 饭店 人 口 处 受到 接待 ， 或 者 通过 标志 继续 向 前 找到 桌子 。 如 果菜 单 没 在 桌 
上 ， 服 务 员 也 没有 送 过 来 ， 那 么 顾客 会 向 服务 员 要 菜单 。 也 就 是 说 ， 顾 客 理解 整个 流程 ,点 菜 、 
食用 、 付 账 ， 然 后 离开 。 

事实 上 ， 饭 店 脚本 和 其 他 的 进餐 脚本 大 不 相同 ， 比 如 “快餐 ”模式 或 者 “正规 的 家 庭 餐 ”。 
在 快餐 模式 中 ， 顾 客 进来 、 排 队 等 待 点 单 、 付 款 (在 食用 之 前 ) 、 等 待 装 有 所 点 食品 的 餐 盘 、 接 
过 和 餐 盘 并 找 一 张 干净 的 桌子 ， 等 等 。 这 是 两 个 不 同 的 套路 化 的 事件 序列 ， 每 个 都 有 一 个 潜在 的 
脚本 。 

脚本 由 以 下 几 部 分 组 成 : 

进入 条 件 (entry condition) 也 就 是 要 调用 这 个 脚本 必须 满足 的 世界 描述 。 在 前 面 的 示例 脚 
本 中 ,进入 条 件 包括 一 家 营业 的 饭店 和 一 个 有 钱 的 饥饿 顾客 。 

结果 “(result) 也 就 是 脚本 一 旦 终止 就 成 立 的 事实 。 例 如 ， 顾 客 吃 饱 了 同时 钱 少 了 ， 饭店 老 
板 的 钱 增多 了 。 

道具 〈prop) 也 就 是 支持 脚本 内 容 的 各 种 “东西 ”。 这 可 能 包括 桌子 、 服 务 员 以 及 菜单 。 道 
具 集 合 支 持 合理 的 默认 假定 : 假定 饭店 拥有 桌子 和 椅子 ， 除 非特 别 说 明 。 

角色 任务 (role) 也 就 是 各 个 参与 者 所 执行 的 动作 。 服 务 员 拿 菜单 、 上 菜 以 及 拿 账 单 。 顾 客 
点 菜 、 食 用 以 及 付 账 。 

场次 〈scene) 。Schank 把 脚本 分 解 成 一 系列 场次 ， 每 一 场次 呈现 一 段 脚本 。 在 饭店 中 有 进 
人 、 点 菜 、 食 用 等 场次 。 

脚本 的 要 素 一 一 语义 含义 的 基本 “片段 ”一 一 是 用 概念 依赖 关系 来 表示 的 。 这 些 要 素 放 入 
一 种 类 似 框 架 的 结构 ， 它 们 代表 了 一 个 含义 序列 ， 也 就 是 一 个 事件 序列 。 图 7-11 给 出 了 摘自 这 
项 研究 的 饭店 脚本 。 

当 程 序 读 一 小 段 关 于 饭店 的 故事 时 ， 它 可 以 把 故事 解析 为 内 部 的 概念 依赖 表示 。 因 为 这 种 
内 部 描述 中 的 关键 概念 符合 这 段 脚 本 的 进入 条 件 ， 所 以 这 个 程序 就 把 故事 中 提 到 的 人 和 事 绑 定 
到 脚本 中 提 到 的 角色 和 道具 上 。 这 样 便 得 到 了 一 种 对 故事 内 容 的 扩充 表示 ， 利 用 脚本 和 默认 假 
定 填补 了 故事 中 残缺 的 信息 。 然 后 这 个 程序 便 可 以 通过 引用 脚本 来 回答 有 关 这 个 故事 的 问题 
了 。 这 种 脚本 使 我 们 可 以 在 适当 的 时 候 应 用 默认 假定 ， 这 对 自然 语言 理解 来 说 是 至 关 重 要 的 。 
例如 : 

例 7. 1.1 

昨天 晚上 ， 约 其 去 饭店 吃饭 ， 他 点 了 1 份 牛排 。 付 账 时 发 现 没有 带 钱 ， 于 是 匆忙 赶 回 家 ， 当 
时 天 已 经 开始 下 十 了 。 

利用 这 一 脚本 ， 系 统 可 以 正确 地 回答 很 多 问题 ， 比 如 : 约 其 昨 晚 吃 晚餐 了 吗 (故事 中 仅仅 
隐 含 了 这 一 点 )? 约翰 使 用 现金 或 者 信用 卡 了 吗 ? 约翰 如 何 拿 到 菜单 的 ? 约翰 买 什么 了 ? 
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Script: RESTAURANT Scene 1: Entering 


S PTRANS S into restaurant 
S ATTEND eyes to tables 

S MBUILD where to sit 

S PTRANS S to table 

S MOVE S to sitting position 


: S = Customer Scene 2: rng 


W = Waher Menu on tabie) (W br 
C= Cook 8 pr ) 人 s ngs menu) (S asks for menu) 
M = Cashier Menu S MTRANS signal to W 
O » Owner W PTRANS W to table 
W PTRANS W to table S MTRANS meed menu' to W 


W ATRANS menuto S WPTRANS W to menu 


S MTRANS food tist to CP (S) 
“S MBUILD choice of F 
S MTRANS signal to W 
WPTRANS W to table 
SMTRANS ‘| want F to W 
WPTRANSWtoC 
W MTRANS (ATRANS F)toC 
Entry conditions: S is hungry. C MTRANS no F to W 
S has money. W PTRANSWtoS 
W MTRANS no FtpS 
Results: S has less money (go back to *} or 
O has more money (90 to Scene 4 at no pay path) 
S is not hungry 
Sis pleased (optionaj) 


C DO {prepare F script) 
to Scene 3 


Scene 3: Eating 


CATRANS Fto W 
WATRANS Fio S 
SINGESTF 


(Option: Return to Scene 2 to order more:; 
ctherwise, go to Scene 4} 
Scene 4: Exitng 
SMTRANS to W 
(W ATRANS check to S) 
W MOVE (write check) 
WPTRANSWtoS 
W ATRANS check to S 
SATRANS tp to W 
S PTRANS Sto M 
S ATRANS money to M 


(No pay path) S PTRANS S to out of restaurant 


图 7-11 饭店 脚本 (Schank and Abelson 1977) 





例 7.1.2 

Amy Sue 到 外 面 吃 午 饭 。 她 坐 到 一 张 桌子 汰 ， 然 后 叫 来 女 服务 员 ， 女 服务 员 递 给 她 菜单 。 她 
点 了 一 份 三 明治 。 
关于 这 个 故事 ， 可 以 提出 的 合理 问题 包括 : 为 什么 服务 员 递 给 Amy Sue 菜单 ? Amy Sue 当时 
是 在 饭店 中 吗 (本 例 并 没有 说 Amy Sue 在 饭店 中 )? 谁 付 的 账 ? 点 三 明治 的 “她 ”是 谁 ? 最 后 一 
个 问题 是 有 难度 的 。 文 中 最 后 一 次 明确 提 到 的 女性 是 服务 员 ， 但 这 是 错误 的 代词 指 代 。 脚 本 的 角 
色 任 务 可 以 帮助 我 们 解决 这 种 指 代 问 题 以 及 其 他 模棱两可 问题 。 

脚本 还 可 以 用 来 解释 意外 结果 或 者 是 脚本 行为 中 的 中 断 。 因 此 ， 在 图 7-11 的 第 2 场 中 ， 有 
一 个 关于 为 顾客 上 了 食物 (“food”) 或 者 是 没有 上 食物 (“no food”) 的 选择 点 。 这 样 便 可 以 理 
解 下 面 的 例子 了 。 


例 7.1.3 
凯特 去 饭店 。 女 服务 员 介 绍 她 到 一 张 桌子 边 ， 点 了 一 份 三 明治 。 她 坐 在 那里 等 了 很 久 。 最 


772 及 三 亡 分 ”和 苗 天 大 能 : AT 记 的 热 战 





后 ， 她 等 得 太 焦 和 急 便 离开 了 。 

利用 饭店 脚本 可 以 回答 的 关于 这 个 故事 的 问题 包括 : 坐 在 那里 等 的 “她 ”是 谁 ? 她 为 什么 
等 ? 等 得 焦急 了 离开 的 “她 ”是 谁 ? 她 为 什么 焦急 ? 注意 还 有 一 些 问题 这 个 脚本 没 法 回答 ， 比 
如 为 什么 当 服务 员 没 有 迅速 来 时 人 们 会 焦急 ? 和 任何 知识 库 系统 一 样 ， 脚 本 需要 知识 工程 师 正 
确 预测 所 需 的 知识 。 

脚本 ， 像 框架 和 其 他 结构 化 表示 一 样 ， 都 受制 于 特定 的 问题 ， 包 括 脚本 严 配 问题 和 暗示 问 
题 。 考 虑 例 7. 1.4， 它 还 调用 了 饭店 或 音乐 会 脚本 。 如 何 做 出 选择 是 很 关键 的 ， 因 为 “bill” 既 
可 以 指 饭 店 的 账单 ， 也 可 以 指 音乐 会 的 节目 单 。 


例 7. 1.4 

约翰 在 听 音 乐 会 的 路 上 顺便 到 了 他 最 喜欢 的 一 家 饭店 。 他 对 账单 /节目 单 (bil) 很 满意 ， 
因为 他 喜爱 莫扎特 。 

因为 选取 脚本 通常 是 基于 “关键 字 ” 匹 配 的 ， 所 以 很 多 时 候 很 难 判断 应 该 使 用 两 个 或 更 多 
个 可 能 脚本 中 的 哪 一 个 。 目 前 的 所 有 算法 都 不 能 保证 做 出 正确 的 选择 ， 从 这 个 意义 上 来 说 ， 脚 本 
匹配 是 一 个 难度 很 大 的 问题 。 它 需要 关于 世界 组 织 的 启发 性 知识 ， 甚 至 可 能 需要 一 些 以 往 知 识 ， 
脚本 仪 仅 有 助 于 组 织 这 一 知识 。 

暗示 问题 也 是 很 难 的 ， 因 为 事先 不 可 能 知道 某 个 可 能 事件 会 打 断 脚本 。 例 如 : 


例 7. 1.5 

梅 利 莎 正在 她 最 喜欢 的 饭店 吃饭 ， 这 时 一 大 片 五 浓 从 天 花 板 上 险 落 到 她 的 椰 表 上 。 

问题 : 梅 利 莎 在 吃 椰 束 色 拉 吗 ? 梅 利 莎 的 椰 束 涂 上 石膏 了 吗 ?” 她 接 下 来 做 了 什么 ”正如 这 个 
例子 所 说 的 ， 结 构 化 表示 可 能 不 够 灵活 。 推 理 可 能 被 锁定 到 茶 个 单一 脚本 ， 即 使 这 个 脚本 可 能 是 
不 合适 的 。 

内 存 组 织 包 (MOP) 是 一 种 用 来 处 理 脚 本 不 灵活 问题 的 策略 ， 它 把 知识 表示 成 较 小 的 部 
分 一 -MOP， 然 后 再 把 这 些 包 与 规则 一 起 动态 组 合成 适合 当前 情况 的 表示 模式 (Schank 1982 ) 。 
知识 在 内 存 中 的 组 织 对 基于 案例 的 推理 的 实现 特别 重要 ， 因 为 在 案例 推理 中 ， 问 题 求解 器 必须 
高 效 地 从 内 存 中 检索 有 关 的 以 前 问题 的 解 (Kolodner 1988a， 见 8.3 节 ) 。 

组 织 和 检索 知识 的 问题 是 很 难 的 ， 而 且 对 于 语义 建 模 来 说 这 一 问题 是 固有 的 。Eugene Char- 
niak (1972) 论述 了 即使 要 理解 简单 的 童话 ， 也 需要 大 量 的 知识 。 考 虑 一 句 生日 PARTY 上 的 话 : 
“玛丽 在 过 生日 时 收 到 两 只 风筝 ， 所 以 她 把 一 个 退还 给 商店 。” 我们 必须 知道 在 PARTY 上 送礼 物 
的 传统 ; 还 必须 知道 风筝 是 什么 以 及 为 什么 玛丽 可 能 不 需要 两 个 ; 我 们 还 必须 知道 商店 是 什么 ， 
以 及 它们 的 退换 制度 。 尽 管 存在 这 些 问 题 ， 利 用 脚本 和 其 他 语义 表示 的 程序 可 以 在 有 限 的 领域 
中 理解 自然 语言 。 这 项 工作 的 一 个 例子 是 翻译 电报 消息 的 程序 。 利 用 关于 自然 灾害 、 政 变 或 者 其 
他 套路 化 故事 的 脚本 ， 这 些 程序 已 经 在 这 一 有 限 却 很 实际 的 领域 中 取得 了 很 大 的 成 功 (Schank 
and Riesbeck 1981 ) 。 


7.1.5 框架 


还 有 一 种 在 很 多 方面 都 和 脚本 很 相似 的 表示 模式 ， 称 为 框架 (frame) ， 其 目的 是 在 显 式 组 织 
的 数据 结构 中 捕获 问题 域 中 隐 含 的 信息 连接 。 这 种 表示 支持 把 知识 组 织 成 更 复杂 的 单元 ， 以 反 
有 映 问题 域 中 对 象 的 组 织 方式 。 

Minsky 在 1975 年 的 一 篇 论文 中 介绍 了 框架 : 


下 面 是 框架 理论 的 精髓 当 一 个 人 过 到 新 的 情况 (或 其 看 待 问 题 的 观点 发 生 实质 性 变化 ) 
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时 ， 他 会 从 记忆 中 选择 一 种 结构 ， 即 “框架 "。 这 是 一 种 记忆 下 来 的 轮廓 ， 按 照 需要 改变 其 细节 
就 可 以 用 其 拟 合 真实 情况 (Minsky 1975) 。 


根据 Minsky 的 说 法 ， 可 以 把 框架 看 成 是 一 种 静态 的 数据 结构 ， 用 来 表示 熟知 的 典型 情况 。 
我 们 对 世界 的 认识 是 按照 像框 架 一 样 的 结构 组 织 的 。 通 过 调用 根据 过 去 经 验 构造 出 的 信息 ， 我 
们 可 以 把 框架 调整 到 所 有 新 的 情况 。 然 后 我 们 可 以 对 这 些 过 去 经 验 的 细节 进行 更 新 和 修正 ， 以 
表示 新 情况 的 个 别 差异 。 

在 宾馆 房间 中 住 过 一 两 次 的 人 都 不 会 因 住 进 一 个 新 的 宾馆 房间 而 不 知 所 措 。 他 会 期 望 看 到 
一 张 床 、 一 闻 浴 室 、 一 个 衣柜 、 一 部 电话 、 价 单 以 及 门 后 的 紧急 玖 散 信息 等 。 每 个 房间 的 细节 是 
在 需要 时 提供 的 ， 比 如 窗帘 的 颜色 、 电 灯 开 关 的 位 置 和 用 法 ， 等 等 。 宾 馆 房间 框架 中 还 提供 了 一 
些 默 认 的 信息 ， 比 如 没有 床单 、 叫 客房 服务 、 需 要 冰 水 等 。 我 们 并 不 需要 为 见 过 的 每 个 新 宾馆 房 
间 建 立 一 个 框架 。 将 宾馆 房间 的 所 有 部 分 组 织 成 一 个 概念 结构 ， 便 于 登记 入 住 宾馆 时 使 用 ; 单 
个 房间 的 细节 是 根据 需要 提供 的 。 

我 们 可 以 把 这 些 较 高 层 结 构 直 接 表示 为 语义 网 ,方法 是 将 其 组 织 为 多 个 独立 网 络 的 集合 ， 
每 个 元 素 表 示 一 种 典型 的 情况 。 框 架 ( 以 及 面向 对 象 系统 ) 为 我 们 提供 了 一 种 组 织 工 具 ， 利 用 
其 可 以 将 实体 表示 为 结构 化 的 对 象 ， 对 象 可 以 带 有 命名 槽 和 相应 的 值 。 因 此 可 以 把 框架 或 模式 
看 成 是 一 种 简单 的 复合 体 。 

例如 ， 可 以 用 很 多 个 独立 的 框架 来 描述 宾馆 房间 以 及 它 的 各 个 部 分 。 以 下 这 个 框架 除了 表 
示 床 之 外 还 可 以 表示 椅子 : 期 望 高 度 为 20 到 40 厘米 ， 默 认 有 4 个 腿 , 设计 用 途 是 供 人 休息 。 以 
下 是 一 个 更 复杂 的 表示 宾馆 电话 的 框架 : 这 是 常规 电话 的 一 种 特例 一 一 它 的 费用 是 计 人 房间 费 
用 的 ; 有 一 个 专门 的 宾馆 接线 员 〈 软 认 ) ;可 以 用 寞 馆 电话 订餐 享受 客房 餐饮 服务 、 拨 打 外 线 或 
接受 其 他 服务 。 图 7-12 画 出 了 表示 宾馆 房间 的 框架 。 























宾馆 的 电话 
电话 的 特 化 
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房间 的 特 化 
位 党 ,宾馆 
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包含 :宾馆 的 椅子 
宾馆 电话 
宾馆 的 床 ) 






















图 7-12 ”宾馆 房间 的 框架 描述 《部 分 ) 
注 :“ 特 化 ”指出 了 一 个 指向 超 类 的 指针 


可 以 把 每 个 框架 看 成 是 一 个 数据 结构 ， 它 包含 了 与 典型 实体 相关 的 信息 ， 在 许多 方面 与 传 
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统 的 “记录 ”很 类 似 。 框 架 中 的 槽 通常 包 含 以 下 信息 : 

1) 框架 标识 信息 。 

2) 这 个 框架 和 其 他 框架 的 关系 。“ 宾 馆 电话 ”是 “电话 ”的 特例 ， 也 是 “通信 设备 ”的 一 
个 实例 。 

3) 框架 的 特征 描述 。 例 如 ， 罕 子 的 平面 高 地 高 度 是 20 ~40 厘米 ， 靠 背 高 出 棒 面 60 厘米 等 。 
当 决 定 一 个 新 对 象 是 否 适合 某 个 框架 时 需要 这 些 特征 。 

4) 关于 描述 结构 用 法 的 过 程 信 息 。 框 架 的 一 个 重要 特征 是 可 以 在 槽 中 附加 过 程 性 代码 。 

5) 框架 的 黑 认 信息 。 当 没有 发 现 相 反 的 证 据 时 ， 便 取 这 些 槽 值 。 例 如 ， 椅 子 有 4 条 腿 ， 电 
话 是 按键 式 的 ， 宾 馆 的 床 是 由 其 员工 整理 的 。 

6) 新 实例 信息 。 许 多 框架 的 构 值 可 以 是 未 指定 的 ， 直 到 遇 到 了 特定 实例 或 者 为 了 求解 某 些 
间 题 时 才 指 定 。 例 如 ， 可 以 不 指定 床单 的 颜色 。 

框架 在 很 多 重要 方面 扩展 了 语义 网 。 尽 管 图 7-12 中 的 宾馆 房间 框架 描述 可 能 和 网 络 描述 
差不多 , 但 是 框架 版 本 对 床 的 描述 要 清楚 得 多 。 在 网 络 版 本 中 ， 只 看 到 很 多 结 点 ， 通 过 解释 
我 们 才能 看 到 床 是 描述 的 主要 对 象 。 这 种 把 知识 组 织 到 结构 中 的 能 力 是 知识 库 的 一 个 重要 
属性 。 

通过 框架 更 容易 层次 化 地 组 织 知识 。 在 网 络 中 ， 所 有 概念 表示 为 同一 个 层 上 的 结 点 和 连接 。 
然而 ， 很 多 时 候 我 们 可 能 出 于 某 种 目的 喜欢 把 一 个 对 象 看 成 是 一 个 单一 实体 ， 有 时 又 出 于 另 一 
个 目的 希望 仅 考虑 内 部 结构 的 细节 。 举 例 来 说 ， 通 常 我 们 并 不 关心 汽车 的 机 械 结构 ; 除非 它 出 了 
故障 ， 这 时 才 打 开 “ 汽 车 发 动机 说 明 书 ”寻找 问题 。 

过 程 性 附件 是 框架 的 一 个 重要 特征 ， 通 过 这 一 特征 可 以 把 特定 的 代码 片段 与 框架 表示 中 的 
适当 实体 联系 起 来 。 例 如 ， 我 们 可 能 希望 知识 库 具 有 产生 图 片 图 像 的 能 力 。 这 方面 图 形 语言 比 网 
络 语言 更 合适 。 我 们 也 用 过 程 性 附件 来 创建 守护 程序 (demon) 。 守 护 程序 是 作为 某 个 其 他 动作 
的 副作用 被 调用 的 过 程 。 例 如 ， 每 当 一 个 槽 值 改 变 时 ， 我 们 可 能 希望 系统 进行 类 型 检查 或 一 致 性 
检验 。 

框架 系统 支持 类 继承 。 一 个 类 框架 的 槽 和 默认 值 可 以 通过 类 / 子 类 和 类 /成 员 层次 继承 。 例 
如 ， 宾 馆 电 话 是 常规 电话 的 子 类 ， 除 了 以 下 两 种 情况 : (1) 拨打 所 有 外 线 要 通过 宾馆 总 机 (为 
了 记 账 ); (2) 可 以 直接 拨打 宾馆 的 服务 。 只 要 没有 其 他 的 信息 可 以 使 用 ,那么 默认 值 便 赋 给 所 
选择 的 槽 ， 例 如 宾馆 房间 中 有 床 ， 因 此 是 睡眠 的 合适 地 方 ; 如果 不 知道 如 何 拨 打 宾 馆 的 前 台 ， 那 
么 可 以 试 一 下 拨 “0”; 宾馆 的 电话 是 按键 式 的 〈 如 果 没 有 相反 的 证 据 ) 。 

当 创建 类 框架 的 实例 时 ， 系 统 会 尽 可 能 填写 它 的 各 个 档 ， 可 以 采用 的 方法 有 : 通过 向 用 户 查 
询 、 从 类 框架 中 接受 默认 值 ; 或 者 执行 某 个 过 程 或 守护 程序 来 得 到 实例 值 。 和 语义 网 的 情况 一 
样 ， 槽 和 默认 值 可 以 通过 类 / 子 类 层次 继承 。 当 然 ， 默 认 信息 可 能 会 与 问题 的 数据 描述 发 生 冲突 ， 
因此 我 们 假定 默认 值 未 必 总 是 正确 的 〈 见 9.1 节 )。 

Minsky 的 视觉 研究 内 容 为 框架 和 框架 默认 值 在 推理 中 的 用 法 提供 了 一 个 例子 ， 他 研究 的 问 
题 是 识别 出 一 个 对 象 的 不 同 视图 实际 上 表示 的 是 同一 个 对 象 。 例 如 ， 图 7-13 所 示 的 一 个 立方 体 
的 三 个 视图 看 起 来 确实 有 很 多 差异 。Minsky (1975) 提出 了 一 个 框架 系统 ， 该 系统 通过 把 隐藏 面 
作为 默认 假定 来 识别 这 些 视 图 是 同一 个 对 象 的 多 个 角度 。 

图 7-13 中 的 框架 系统 表示 了 立方 体 的 四 个 面 。 虚 线 表 示 对 应 的 面 从 这 个 角度 看 不 到 。 框 架 
之 间 的 连接 指出 了 框架 所 表示 的 角度 间 的 关系 。 当 然 ， 如 果 面 上 有 颜色 或 图 案 ， 那 么 结 点 可 能 更 
复杂 。 实 际 上 ， 一 个 框架 中 的 每 个 槽 可 以 是 一 个 指针 指向 另 一 个 框架 。 还 有 ， 因 为 给 定 的 信息 可 
以 填写 很 多 不 同 的 槽 〈 见 图 7-13 中 的 E 面 ) ， 所 以 在 存储 的 信息 中 必须 没有 任何 元 余 。 




















更 恒定 的 (例如 三 
维 ) 属性 


向 左 
图 7-13 ”观察 立方 体 的 立体 框架 (Minsky 1975) 


框架 允许 把 复杂 的 对 象 表 示 成 一 个 框架 ， 而 不 是 表示 为 庞大 的 网 络 结构 。 因此 它 大 大 增加 
了 语义 网 的 表示 力 。 它 也 为 表示 典型 实体 、 类 、 继 承 和 默认 值 提供 了 一 种 自然 的 方式 。 尽管 框架 
是 一 种 强大 的 工具 ， 但 与 逻辑 和 网 络 表 示 一 样 ， 要 解决 很 多 获取 和 组 织 复杂 知识 库 的 问题 还 必 
须 依靠 程序 员 的 技巧 和 洞察 力 。 最 终 ， 这 项 20 世纪 70 年 代 在 MIT 的 研究 以 及 在 施乐 帕 洛 阿 
尔 托 研究 中 心 的 类 似 研究 导致 了 “面向 对 象 ”程序 设计 原理 的 产生 ， 并 建立 了 重要 的 实现 
语言 ， 包 括 Smalltalk、C + + 和 Java。 


7.2 概念 图 : 网 络 语言 


继 开 发 AI 表示 模式 〈 见 7.1 节 ) 的 早期 研究 工作 之 后 ， 学 者 们 又 开发 出 了 很 多 网 络 语言 ， 
用 来 对 自然 语言 的 语义 以 及 其 他 领域 建 模 。 在 这 一 节 中 ， 我 们 详细 地 分 析 一 种 特定 的 形式 ， 以 说 
明 网 络 语言 是 如 何 处 理 语义 表示 问题 的 。John Sowa 的 概念 图 (Sowa 1984) 是 网 络 表示 语言 的 一 
个 典范 。 本 节 将 定义 形成 和 操纵 概念 图 的 规则 ， 以 及 表示 类 、 个 体 和 关系 的 约定 。15.3.2 节 将 
说 明 如 何 使 用 这 种 形式 方法 表示 自然 语言 理解 中 的 含义 。 


7.2. 1 概念 图 简介 


概念 图 是 一 种 有 限 、 连 接 、 二 部 图 。 图 

的 结 点 要 么 是 概念 ; 要 么 是 概念 关系 。 概 。 。 飞 足 1 目 关 系 

念 图 不 使 用 带 标签 的 弧 ; 而 是 用 概念 关系 

结 点 来 表示 概念 之 间 的 关系 。 因 为 概念 图 

是 一 部 的 ， 所 以 概念 仅 有 指向 关系 的 缴 ， 

反之 亦 然 。 在 图 7- 14 中 ，dog( 狗 ) 和 
brown (棕色 ) 是 概念 结 点 ，color (颜色 ) 颜色 是 2 目 关 系 

是 概念 关系 。 为 了 区 分 这 两 种 类 型 的 结 点 ， 








我们 交角 志和 将 概念 关系 表示 
在 概念 图 中 ， 概 念 结 点 要 么 表示 具体 [_entd | 
对 象 ， 要 么 表示 抽象 对 象 。 具 体 概念 〈 比 


如 猫 、 电 话 、 饭 店 ) 是 可 以 用 脑海 中 形成 双亲 是 3 目 关 系 
的 一 幅 图 像 来 刻画 的 。 注 意 具体 概念 既 包 图 7-14 不 同 “ 目 ”的 概念 关系 
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括 一 般 的 概念 ， 比 如 猫 和 饭店 ;又 包括 特定 猎 和 饭店 这 样 的 概念 。 我 们 还 可 以 形成 一 般 猫 的 图 
像 。 抽 象 的 概念 包括 爱 、 美 丽 和 忠诚 等 ， 这 些 概 念 不 对 应 于 脑海 中 的 图 像 。 

概念 关系 结 点 指出 一 种 涉及 一 或 多 个 概念 的 关系 。 把 概念 图 表达 成 二 部 图 而 不 用 带 标签 弧 
线 的 一 个 优点 是 可 以 更 简单 地 表示 任何 目 〈arity) 的 关系 。 正 如 图 7-14 所 示 ， 一 个 nm 目 关 系 表 
示 为 一 个 具有 n 个 弧 的 概念 结 点 。 

每 个 概念 图 可 以 表示 一 个 命 古 。 典 型 的 知识 库 将 包含 大 量 这 样 的 图 。 图 的 复杂 度 是 任意 的 ， 
但 必须 是 有 限 的 。 例 如 ， 图 7-14 中 的 第 二 幅 概 念 图 表示 了 命题 “A dog has a color of brown”。 图 
7-15 是 一 个 更 复杂 一 些 的 概念 图 ， 表 示 的 是 “Mary gave john the book (玛丽 把 书 给 了 约翰 )”。 
这 个 图 使 用 概念 关系 来 表示 动词 “to give” 的 各 种 格 ， 这 个 例子 指出 了 使 用 概念 图 对 自然 语言 语 
义 建 模 的 方式 。 


poor 


图 7-15 “玛丽 把 书 给 了 约翰 ”的 概念 图 


7.2.2 类 型 、 个 体 和 名 字 


语义 网 的 很 多 早期 设计 者 草率 地 定义 类 /成 员 和 类 / 子 类 关系 ， 导 致 了 语义 混乱 。 例 如 ， 个 体 
与 类 之 间 的 关系 与 类 【〈 比如 狗 ) 和 超 类 (食肉 动物 ) 之 间 的 关系 是 不 同 的 。 类 似 地 ， 某 些 属性 
“属于 个 体 ， 而 某 些 属于 类 本 身 。“ 有 毛 ” 和 “喜欢 明 头 ”这 两 个 属性 属于 狗 个 体 ;“ 狗 ”类 没有 
毛 也 不 吃 东西 。 适 合 于 “ 狗 ” 类 的 属性 包括 类 名 和 它 在 动物 分 类 学 中 的 隶属 关系 。 

在 概念 图 中 ， 所 有 的 概念 都 是 特定 类 型 的 惟一 个 体 。 每 个 概念 矩形 都 带 有 一 个 类 型 标签 ， 用 
来 指出 这 个 结 点 所 表示 的 个 体 的 类 型 或 类 。 因 此 ， 一 个 带 有 dog 标签 的 结 点 表示 的 是 该 类 的 一 个 
个 体 。 各 个 类 型 是 按 层次 组 织 的 。 类 型 dog 是 (camivore) 的 子 类 型 ，carnivore 是 (mammal) 
的 子 类 型 ， 等 等 。 具 有 相同 类 型 标签 的 矩形 表示 同一 类 型 的 多 个 概念 ; 不 过 这 些 和 矩形 可 以 表示 也 
可 以 不 表示 同一 个 个 体 概念 。 

可 以 用 标签 标 出 每 个 概念 矩形 的 类 型 名 以 及 它 所 表示 的 个 体 。 类 型 标签 和 个 体 标 签 用 冒号 
“:” 分 开 。 图 7-16 中 的 概念 图 指出 狗 “Emma (页 玛 )” 是 棕色 的 。 图 7-17 断言 dog 类 型 的 某 个 
未 指定 实体 的 颜色 是 brown (棕色 的 ) 。 如 果 标 签 中 未 指定 个 体 名 ， 那 么 这 个 概念 表示 该 类 型 的 


未 指定 个 体 。 


图 7-16 这 个 概念 图 指出 一 只 名 为 艾 玛 的 狗 是 棕色 的 


我 们 还 可 以 用 概念 图 来 表示 特定 但 未 命名 的 个 体 。 用 一 种 称 为 标志 的 记号 来 指出 话语 世界 
中 的 每 个 个 体 。 标 志 以 “#” 号 开始 ， 后 面 跟 一 个 数字 。 标 志 不 同 于 名 字 ， 因 为 标志 是 惟一 的 : 
个 体 可 以 有 一 个 名 字 、 多 个 名 字 、 或 者 根本 没有 名 字 ， 但 是 它 的 标志 有 和 且 仅 有 一 个 。 类 似 地 ， 
不 同 的 个 体 可 以 有 相同 的 名 字 ， 但 是 不 可 以 有 相同 的 标志 。 这 些 区 别 为 我 们 处 理 对 象 命名 有 时 
的 语义 模糊 葛 定 了 基础 。 图 7-17 中 的 概念 图 断言 ， 一 条 特定 的 dog (#1352) 是 brown ( 棕 
色 的 ) 。 
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图 7-17 这 个 概念 图 指出 一 只 特定 的 (但 未 命名 ) 狗 是 棕色 的 


我 们 可 以 通过 标志 把 个 体 和 它 的 名 字 分 开 。 例 如 ， 如 果 狗 机 352 的 名 字 是 “ 艾 玛 ”， 那 么 我 
们 可 以 使 用 一 个 叫 name 的 概念 关系 将 其 加 到 概念 图 中 。 结 果 如 图 7-18 所 示 。 名 字 用 双 引 号 包 
围 起 来 ， 表 明 它 是 一 个 字符 串 。 在 不 会 造成 歧义 的 情况 下 ， 可 以 直接 用 名 字 来 引用 个 体 ， 以 简化 
概念 图 。 根 据 这 个 约定 ， 图 7-18 中 的 概念 图 与 图 7-16 中 的 是 等 价 的 。 


图 7-18 这 个 概念 图 指出 一 只 名 为 艾 玛 的 狗 是 棕色 的 


尽管 无 论 是 在 随便 的 对 话 中 ， 还 是 在 正式 的 表示 中 我 们 都 经 常 忽 略 个 体 和 名 字 之 间 的 差异 ， 
但 这 一 差异 是 表示 语言 要 支持 的 一 个 重要 特征 。 举例 来 说 ， 如 果 我 们 说 “约翰 ”是 一 个 常见 的 
男性 名 字 ， 那 么 我 们 是 在 断言 这 个 名 字 本 身 的 属性 ， 而 不 是 在 谈 任 何 名 为 “约翰 ” 的 个 体 。 有 
了 这 一 功能 ,我 们 就 可 以 表示 类 似 这 样 的 英语 句子 “ “黑猩猩 * 是 一 种 灵 长 类 动物 的 名 字 ” 
( “Chimpanzee” is the name of a species of Primates) 。 类 似 地 ， 我 们 可 能 还 需要 表示 一 个 个 体 有 多 
个 名 字 这 一 事实 。 图 7-19 表示 了 一 首 歌 中 所 描述 的 情况 ， 她 的 名 字 叫 McG 记 ， 她 称 自 己 为 Hil， 
但 是 大 家 都 叫 她 Nancy (Lennon and McCartney 1968)”。 


person:#941765 Cname ) 








上 N an cy" 


"Li 
图 7-19 这 个 概念 图 表示 一 个 人 有 三 个 名 字 


除了 用 标志 或 名 字 来 指示 个 体外 ， 我 们 还 可 以 用 标志 * 来 表示 未 指定 的 个 体 。 根 据 约 定 ， 可 
以 经 常 省 略 * 标志 ， 因 此 仅 给 出 类 型 标签 dog 的 结 点 等 价 于 标 有 “dog: * ”的 结 点 。 除 了 一 般 
标志 外 ， 概 念 图 还 允许 使 用 命名 变量 。 变 量 以 星 号 开始 ， 后 面 跟随 变量 名 (例如 *X 或 * fo0)。 
如 果 两 个 分 隔 开 的 结 点 表示 同一 个 未 指定 的 个 体 ， 那 么 这 时 变量 是 很 有 用 的 。 图 7-20 表示 了 这 
个 断言 :“ 那 只 狗 用 爪子 抓 耳 末 ” (The dog scratches its ear with its paw) 。 尽 管 我 们 不 知道 娜 只 狗 在 
抓 耳 条 ， 但 是 变量 * X 指出 了 “爪子 ”(paw) 和 “ 耳 杂 ”(ear) 是 属于 同一 只 在 做 “ 抓 ” (scratch ) 
动作 的 狗 。 

总 而 言 之 ， 每 个 概念 结 点 可 以 表示 特定 类 型 的 一 个 个 体 。 这 个 个 体 是 这 个 概念 的 指向 ( ref- 
erent) 。 这 种 指向 既 可 以 是 个 别 的 ， 也 可 以 是 泛 指 的 。 如 果 这 个 指向 使 用 了 个 体 标 志 ， 那 么 这 个 
概念 就 是 一 个 个 体 概念 ; 如 果 指 向 使 用 了 一 般 标志 ， 那 么 概念 就 是 一 般 概念 。7.2.3 节 给 出 了 概 
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念 图 的 类 型 层次 。 


图 7-20 表示 “ 那 只 狗 用 爪子 抓 耳 失 ” 的 概念 图 


7.2.3 类 型 层次 


概念 图 的 类 型 层次 是 一 种 用 友 符 号 表示 的 部 分 有 序 关 系 ， 如 图 7-21 所 示 。 如 果 s 和 t 是 两 种 


类 型 ， 并且 1t<s， 那 么 就 说 t 是 s 的 子 类 型 ，s 是 t 的 超 
类 型 。 因 为 这 是 一 种 部 分 有 序 关 系 ， 所 以 一 个 类 型 可 以 有 
一 个 或 多 个 超 类 型 ， 也 可 以 有 个 一 或 多 个 子 类 型 。 如 果 
s、t 和 u 都 是 类 型 ,并且 t<s, t<su， 那 么 就 说 t 是 s 和 
u 的 公共 子 类 型 。 类 似 地 ， 如 果 s<v，u<v， 那么 Vv 便 是 
Ss 和 U 的 公共 超 类 型 。 

概念 图 的 类 型 层次 形成 了 网 格 一 一 多 继承 系统 的 常见 
形式 。 在 网 格 结构 中 ， 类 型 可 以 有 多 个 双亲 和 孩 子 。 不 
过 ， 每 个 类 型 对 必须 有 一 个 最 小 公共 超 类 型 和 一 个 最 大 公 
共 子 类 型 。 对 于 类 型 s 和 u,v 是 最 小 公共 超 类 型 的 条 件 
是 : s<v，u<v， 并 且 对 于 s 和 bu 的 任意 公共 超 类 型 w 
有 vw。 最 大 公共 子 类 型 的 定义 与 此 类 似 。 一 组 类 型 的 
最 小 公共 超 类 型 适 于 定义 这 些 类 型 的 公共 属性 (而 且 这 
些 属性 仅 对 于 这 些 类 型 来 说 是 公共 的 )。 因 为 很 多 类 型 没 
有 明显 的 公共 子 类 型 或 公共 超 类 型 ， 比 如 “情绪 ”和 
“石头 ”， 所 以 有 必要 增加 一 些 类 型 来 充当 这 些 角色 。 为 
了 使 类 型 层次 成 为 一 个 真正 的 网 格 ， 概 念 图 包含 了 两 种 特 
殊 的 类 型 。 通 用 类 型 (universal type) 是 所 有 类 型 的 超 类 
型 ， 用 T 表 示 。 荒 裹 类 型 (absurd type) 是 所 有 类 型 的 子 
类 型 ， 用 上 表示 。 


7.2.4 泛 化 和 特 化 


概念 图 理论 还 包括 很 多 根据 现 有 图 产生 新 图 的 运算 。 
可 以 通过 特 化 或 泛 化 产生 新 的 概念 图 并 运行 ， 这 对 表示 自 


1 
r / 
S u 
t 
图 7-21 说 明子 类 型 、 超 类 型 、 通 用 类 


型 和 荒 导 类 型 的 类 型 网 格 
注 : 弧 代 表 关 系 


然 语言 的 语义 很 重要 。 图 7-22 显示 了 四 种 运算 : 复制 (copy) 、 限 定 〈restrict) 、 联 售 (join) 和 


简化 〈simplify) 。 假 定 g, 和 9。 是 两 幅 概 念 图 。 那 么 ; 
复制 规则 可 以 形成 一 幅 新 图 9， 是 g, 的 精确 拷贝 。 
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限定 运算 使 我 们 可 以 用 结 点 的 特例 来 替换 结 点 。 这 有 两 种 情况 ; 

1) 如 果 概 念 带 有 一 般 标志 ， 那 么 可 以 把 一 般 标志 替换 为 个 别 标志 。 

2) 可 以 把 类 型 标签 替换 为 它 的 子 类 型 之 一 ， 但 条 件 是 和 这 个 概念 的 指向 一 致 。 例 如 ， 我 们 
可 以 把 图 7-22 中 的 animal (动物 ) 替换 为 dog ( 狗 )。 

联合 规则 可 以 把 两 幅 图 组 合 为 一 幅 。 如 果 图 $, 中 的 结 点 c 和 ss 中 的 结 点 6 是 完全 一 致 的 ， 
那么 我 们 可 以 通过 删除 ca 并 把 与 c。 关联 的 关系 都 连接 到 c 上 而 组 成 一 幅 新 的 图 。 联 合 是 一 种 
特 化 规则 ， 因 为 得 到 的 图 比 组 成 它 的 任 一 幅 图 都 更 特殊 。 

如 果 图 中 包含 两 个 重复 的 关系 ， 那 么 可 以 删除 其 中 之 一 以 及 它 的 所 有 强 。 这 就 是 简化 规则 。 
联合 运算 经 常 产生 重复 的 关系 ， 比 如 图 7-22 中 的 9 。 





gs 
91 和 gs 的 联合 : 





图 7-22 限定 、 联 合 和 简化 运算 的 例子 
限定 规则 的 一 种 用 途 是 使 两 个 概念 匹配 以 便 进行 联合 。 同 时 使 用 联合 和 限定 便 可 以 实现 继 
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承 。 举 例 来 说 ， 用 一 个 个 体 代 蔡 一 个 一 般 标志 便 实 现 了 个 体 对 类 型 属性 的 继承 。 用 一 个 子 类 型 标 
签 代 蔡 类 型 标签 便 实 现 了 类 型 和 子 类 型 之 间 的 继承 。 通 过 把 一 幅 图 和 另 一 幅 图 联合 在 一 起 并 对 
某 些 概念 结 点 加 以 限定 ， 便 实现 了 对 各 种 属性 的 继承 。 图 7-23 显示 了 如 何 通过 用 子 类 型 标签 蔡 
代 类 标签 来 实现 “黑猩猩 ”继承 “ 灵 长 类 ”的 “有 手 ” 属 性 。 该 图 也 显示 了 个 体 “Bonzo” 是 
如 何 通过 实例 化 一 般 概 念 来 继承 这 个 属性 的 。 


概念 图 


子 类 继承 属性 
个 体 继承 属性 


图 7-23 ”概念 图 中 的 继承 


类 似 地 ， 还 可 以 用 联合 和 限定 来 实现 对 理解 自然 语言 有 重要 作用 的 似乎 真实 的 假定 (plausi- 
ble assumption) 。 举 例 来 说 ， 如 果 有 人 告诉 我 们 “玛丽 和 汤姆 曾 一 起 出 去 吃 比 萨 ”， 那 么 我 们 会 
自动 地 做 出 一 些 假定 : 他 们 是 吃 一 种 圆 形 的 上 面 覆盖 着 奶 酷 和 番 茵 着 的 意大利 饼 ; 他们 是 在 一 
个 饭馆 吃 的 ; 他们 一 定 使 用 了 某 种 支付 方式 。 可 以 使 用 联合 和 限定 运算 来 实现 这 种 推理 。 我 们 先 
画 出 这 名 话 的 概念 图 ， 然 后 再 把 这 幅 图 和 比萨 及 饭店 的 概念 图 ( 取 自 知识 库 ) 联合 起 来 。 通 过 
最 终 的 概念 图 我 们 可 以 认为 他 们 吃 了 番茄 汁 并 支付 了 账单 。 

联合 和 限定 都 是 特 化 规则 。 它 们 在 可 导出 图 的 集合 上 定义 了 一 种 部 分 有 序 关 系 。 如 果 g, 是 
gs 的 特 化 ， 那 么 便 可 以 说 g。 是 g; 的 泛 化 。 泛 化 层次 在 知识 表示 中 有 着 非常 重要 的 作用 。 泛 化 层 
次 不 仅 为 继承 和 其 他 常识 推理 模式 提供 了 基础 ， 而 且 还 用 于 很 多 学 习 方法 中 ， 比 如 从 一 个 特定 
的 训练 实例 建立 更 一 般 的 断言 。 

以 上 这 些 规则 不 是 推理 规则 ， 不 保证 从 真实 图 中 导出 的 图 也 是 真实 的 。 举 例 来 说 ， 图 7-22 
所 示 概 念 图 的 限定 可 能 是 不 真实 的 : 艾 玛 可 能 是 一 只 猫 。 类 似 地 ， 图 7-22 的 联合 也 没有 保持 它 
的 真实 性 : 走廊 (porch) 上 的 狗 和 吃 (eat) 骨头 〈bone) 的 狗 可 能 是 不 同 的 。 这 些 运 算是 范式 
规则 (canonical formation rule) ， 尽 管 它们 不 能 保持 真实 性 ， 但 是 具有 保持 “丰富 语义 ”的 重要 
特征 。 当 使 用 概念 图 来 实现 自然 语言 理解 时 ， 这 个 保证 是 非常 重要 的 。 考 虑 下 面 三 个 句子 : 

阿尔 伯 特 ' 爱 因 斯 坦 创 立 了 相对 论 。 

阿尔 伯 特 爱 因 斯 坦 在 洛杉矶 湖人 队 打 中 场 位 置 。 

概念 图 是 黄色 的 飞行 冰棒 。 

这 三 个 句子 中 的 第 一 个 是 真实 的 ， 第 二 个 是 假 的 。 而 第 三 个 是 没有 意义 的 : 尽管 它 的 语法 是 
正确 的 ， 但 没有 任何 意义 。 第 二 个 句子 尽管 是 假 的 ， 但 它 是 有 意义 的 。 因 为 我 们 可 以 想象 阿尔 伯 
特 . 爱 因 斯 坦 站 在 篮球 场 上 。 范 式 规则 在 语义 上 强加 了 约束 ; 也 就 是 说 ， 它 不 允许 根据 有 意义 的 
图 组 成 没有 意义 的 图 。 尽 管 范 式 规则 不 是 可 靠 的 推理 规则 ， 但 是 它 为 自然 语言 理解 和 和 常识 推理 
中 要 做 的 大 多 数 似 真 推 理 英 定 了 基础 。 我 们 在 15. 5 节 进 一 步 讨 论 该 方法 。 
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7.2.5 命题 结 点 


除了 使 用 图 来 定义 世界 中 对 象 之 间 的 关系 外 ， 还 可 以 使 用 图 来 定义 命题 之 间 的 关系 。 例 如 ， 
考虑 这 个 陈述 :“ 汤 姆 相信 简 喜 欢 比萨 ” (Tom believes that Jane likes pizza) 。“ 相信” ( believe ) 
就 是 一 种 用 命题 作 参 数 的 关系 。 

概念 图 包含 了 一 种 命题 〈( proposition〉 概念 类 型 ， 它 以 概念 图 集合 作为 指向 ， 使 我 们 可 以 定 
义 包含 命题 的 关系 。 命 题 概念 是 用 包含 另 一 个 概念 图 的 矩形 来 表示 的 。 我 们 可 以 使 用 具有 适当 
关系 的 命题 概念 来 表示 有 关 命 题 的 知识 。 图 7-24 显示 了 代表 简 (Jane)、 汤 姆 (Tom) 和 比萨 
(pizza) 间断 吉 的 概念 图 。 其 中 的 感受 者 (experiencer) 关系 有 点 类 似 于 连接 主语 和 动词 的 主体 
(agent) 关系 。 感 受 者 关系 表示 一 种 信念 状态 : 感受 到 而 不 是 做 。 


命题 


图 7-24 陈述 “汤姆 相信 简 喜 欢 比萨 ”的 概念 图 
注 : 该 图 显示 了 命题 概念 的 用 法 
图 7-24 显示 了 如 何 使 用 带 有 命题 结 点 的 概念 图 来 表达 知识 和 信念 的 模 态 (modal) 概念 。 模 
态 逻 辑 (modal logic) 关心 的 是 接受 命题 的 不 同方 式 ， 相信 、 断 言 为 可 能 、 很 可 能 或 一 定 是 真实 
的 、 和 希望 成 为 行为 的 结果 、 与 事实 相反 的 〈Tumer 1984) 。 


7. 2.6 概念 图 和 逻辑 

利用 概念 图 ， 可 以 非常 容易 地 表示 像 “The dog is big and hungry” 这 样 的 合 取 概 念 ， 但 是 我 
们 还 没有 建立 表示 非 或 析 取 的 方法 ， 也 还 没有 讨论 变量 量化 的 问题 。 

可 以 使 用 命题 概念 和 称 为 neg 的 一 目 操 作 来 实现 非 。neg 以 一 个 命题 概念 为 参数 ， 断 言 这 个 
概念 是 假 的 。 图 7-25 所 示 的 概念 图 使 用 neg 表示 了 “There are no pink dogs” 这 一 陈述 。 











图 7-25 命题 “There are no pink dogs” 的 概念 图 
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根据 逻辑 规则 ， 可 以 利用 非 和 合 取 组 成 表示 析 取 断言 的 图 。 为 了 简化 这 一 过 程 ， 也 可 以 定义 
一 种 或 关系 ， 它 代表 两 个 命题 的 析 取 。 

在 概念 图 中 ， 一 般 概 念 总 是 假定 为 是 存在 量化 的 。 例 如 ， 图 7-14 中 的 一 般 概念 dog 实际 上 
表示 了 一 个 存在 量化 变量 。 这 幅 图 对 应 于 以 下 逻辑 表达 式 ; 


3X3Y(dog(X) Acolor(X,Y) Abrown(Y)) 


利用 非 和 存在 量化 〈 见 2. 2.2 节 ) ， 还 可 以 表示 全 称 量化 。 例 如 ， 可 以 认为 图 7-25 表示 的 是 如 下 
逻辑 断言 : 
VXVY(- (dog(X) A color(X, YY) A pink( Y)) 


从 表达 能 力 来 看 ， 概 念 图 等 价 于 谓词 演算 。 正 如 以 上 例子 所 说 明 的 ， 总 是 存在 一 个 直接 的 映 
射 ， 把 概念 图 表示 映射 到 谓词 演算 表示 。 下 面 是 把 概念 图 g 转化 到 谓词 演算 表达 式 的 算法 ( 摘 
自 Sowa (1984)): 

1) 为 g 中 的 nn 个 一 般 概念 中 的 每 一 个 分 配 一 个 惟一 变量 xi , xX。,…, X,。 

2) 为 g 中 的 每 个 个 体 概念 分 配 一 个 惟一 的 常量 。 这 个 常量 可 以 是 用 来 表示 概念 指向 的 名 字 
或 标志 。 

3) 用 一 元 谓词 表示 每 个 概念 结 点 ,谓词 的 名 字 和 结 点 的 类 型 相同 ,谓词 的 参数 是 赋 给 该 结 
点 的 变量 或 常量 。 

4) 将 g 中 的 所 有 n 元 概念 关系 表示 为 n 元 谓词 ,谓词 的 名 字 和 该 关系 的 名 字 相 同 。 谓 词 的 
每 一 个 参数 就 是 赋 给 与 该 关系 有 连接 的 相应 概念 结 点 的 变量 或 常量 。 

5) 取 第 3 步 和 第 4 步 形成 的 所 有 原子 语句 的 合 取 。 这 便 是 谓词 演算 表达 式 的 主体 。 这 个 表 
达 式 中 的 所 有 变量 都 是 存在 量化 的 。 
举例 来 说 ， 图 7-16 中 的 概念 图 是 对 应 于 以 下 谓词 演算 表达 式 的 : 


3X(dog(emma) A color(emma, X,) A brown(X,)) 


尽管 可 以 把 概念 图 重新 形式 化 成 谓词 演算 的 形式 ， 但 是 概念 图 也 支持 很 多 在 7. 2.4 节 介绍 的 特殊 
目的 的 推理 机 制 〈 比 如 联合 和 限定 ) ， 这 些 机 制 并 不 是 谓词 演算 的 正常 组 成 部 分 。 

以 上 介绍 了 概念 图 的 语法 并 定义 了 限定 运算 (作为 实现 继承 的 一 种 手段 )。 不 过 我 们 还 没有 
全 面 分 析 可 以 在 这 些 图 上 进行 的 运算 和 推理 ， 也 没有 讨论 要 处 理 像 自然 语言 理解 这 样 的 问题 需 
要 定义 哪些 概念 和 关系 。 在 15. 3. 2 节 将 再 谈 这 些 问 题 并 用 概念 图 为 一 个 简单 的 自然 语言 理解 程 
序 实现 知识 库 。 


7.3 其 他 表示 方法 和 本 体 


近年 来 ，AI 研究 者 们 对 显 式 表示 在 智能 中 的 作用 提出 了 很 多 质疑 。 除 了 第 11 章 和 第 12 章 
中 的 连接 方法 和 涌现 方法 ， 对 传统 表示 作用 的 另 一 个 更 深 一 层 的 挑战 来 自 于 Rodney Brooks 在 麻 
省 理工 学 院 的 研究 工作 (Brooks 1991a) 。Brooks 对 在 设计 一 个 机 器 人 探测 器 时 中 央 式 的 表示 模式 
的 必要 性 提出 了 质疑 ， 并 利用 包容 体系 结构 试图 证 明 一 般 智 能 是 如 何 从 较 低 的 智能 形式 演化 而 
来 的 。 

对 显 式 和 静态 表示 问题 的 第 二 个 挑战 来 自 印 第 安 那 大 学 的 Melanie Mitchell 和 Douglas Hofstad- 
ter 的 研究 。Copycat 体系 结构 是 一 种 进化 网 络 ， 通 过 探索 外 部 世界 的 试验 来 发 现 语义 关系 ， 并 据 
此 调整 自己 。 

最 后 ， 在 复杂 环境 下 建立 问题 求解 器 ( problem solver) 通常 需要 使 用 多 个 不 同 的 表示 模式 。 
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每 个 表示 模式 被 称 为 一 个 本 体 。 为 了 支持 知识 管理 、 沟 通 、 备 份 和 问题 求解 的 其 他 方面 ， 在 这 些 
不 同 的 表示 之 间 建 立 沟 通 和 其 他 链接 是 必要 的 。 我 们 在 知识 管理 技术 (knowledge management 
technology) 总 标题 下 ， 介 绍 这 些 问 题 和 可 能 的 解决 方法 。 这 个 技术 可 能 也 支持 将 在 7.4 节 中 介 
绍 的 基于 主体 的 问题 求解 方法 。 


7. 3. 1 ” Brooks 的 包容 结构 


Brooks 推测 (并 用 他 研制 的 机 器 人 提供 了 例证 ) 智能 行为 并 非 来 自 于 像 定理 证 明 程 序 或 者 
传统 专家 系统 ( 见 8.2 节 ) 那样 的 脱离 实体 的 系统 。Brooks 认为 ， 智 能 是 一 个 合理 设计 的 系统 与 
其 环境 之 间 相 互 作用 的 产物 。 此 外 ，Brooks 次 成 这 样 的 观点 ， 智 能 行为 是 在 具有 更 简单 行为 的 结 
构 的 交互 过 程 中 涌现 出 来 的 ， 这 种 有 组 织 的 结构 就 是 Brooks 的 包容 结构 。 

这 一 包容 结构 是 很 多 任务 处 理 者 的 分 层 合集 。 每 个 任务 是 通过 一 个 有 限 状 态 自 动机 来 完成 
的 ， 有 限 状 态 自 动机 不 断 地 把 感知 器 输入 映射 成 一 个 面向 动作 的 输出 ， 很 多 情况 下 这 是 通过 简 
单 的 “条 件 _* 动 作 ” 产 生 式 规则 ( 见 6.2 节 ) 来 完成 的 。 这 些 规 则 以 一 种 非常 盲目 〈 也 就 是 说 
根本 没有 任何 全 局 性 的 状态 知识 ) 的 方式 来 决定 什么 动作 适合 子 系统 的 当前 状态 。Brooks 允许 合 
用 更 底层 系统 的 某 些 反馈 。 

图 7-26 显示 了 一 个 三 层 的 包容 结构 (摘自 (Brooks 1991a) ) 。 每 一 层 都 是 由 一 个 具有 固定 拓 
扑 结构 的 有 限 状态 自动 机 网 络 组 成 的 ， 每 个 有 限 状态 自动 机 有 几 种 状态 ， 并 具有 一 两 个 内 部 寄 
存 器 和 一 两 个 内 部 时 钟 ， 可 以 访问 简单 的 计算 设备 ， 例 如 可 以 计算 向 量 和 。 这 些 有 限 状态 自动 机 
是 异步 运行 的 ， 通 过 导线 发 送 和 接收 固定 长 度 的 消息 。 系 统 中 不 存在 任何 中 央 控 制 。 每 个 有 限 状 
态 自动 机 是 由 它 收 到 的 消息 驱动 的 。 消 息 的 到 达 或 过 期 导致 状态 自动 机 改变 状态 。 因 为 不 存在 
对 全 局 数据 的 访问 或 任何 动态 创建 的 通信 连接 ， 所 以 根本 没有 可 能 进行 全 局 控制 。 


uy 





图 7-26 三 层 包容 结构 的 功能 
注 ， 这 些 层 是 用 “回避 ”、“ 漫 步 ” 和 “探索 ”这 三 个 行为 描述 的 。 摘 自 Brooks (1991a) 

图 7-26 显示 了 -一 个 早期 机 器 人 采用 的 三 层 结构 的 部 分 功能 〈Brooks 19914)。 这 个 机 器 人 周 
身 装 有 12 个 声 纳 感 知 器 。 这 些 声 纳 感知 器 每 秒 钟 会 给 出 12 个 辐射 深度 测量 结果 。 包 容 结构 的 最 
底层 (“回避 ” 层 ) 实现 了 防止 机 器 人 与 其 他 物体 (不 论 是 静止 的 还 是 运动 的 ) 相 撞 的 行为。 
标 有 “ 声 纳 数据 ”的 状态 机 发 出 即时 “映射 "， 传 递 到 “对 峙 ”和 “感到 暴力 ”状态 机 ， 后 者 
可 以 为 负责 使 机 器 人 向 前 运动 的 状态 机 产生 “停止 ”消息 。 当 “感到 暴力 ”状态 机 被 激活 时 ， 
它 可 以 产生 “逃跑 ”或 “回避 ”指令 ， 以 躲避 危险 。 

这 个 最 底层 有 限 状 态 自 动机 网 络 在 结构 中 为 整个 系统 产生 所 有 “停止 ”和 “回避 ”指令 。 
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下 一 层 “漫步 ” 层 ) 大 约 每 隔 十 秒 钟 为 机 器 人 产生 一 个 随机 的 “走向 ”指令 。“ 回 避 ” 层 的 状 
态 机 取得 来 自 “漫步 ” 层 的 “走向 ”指令 ， 并 把 它 和 “回避 ” 层 计 算出 的 情况 结合 起 来 。 这 
样 ，“ 漫步” 层 便 既 抑制 了 较 低层 的 行为 ， 强 迫 机 器 人 按照 接近 “漫步 ”状态 机 决定 的 方向 移 
动 ， 但 是 同时 也 回避 了 障碍 物 。 最 后 ， 如 果 “ 转 弯 ” 和 “向 前 ”状态 机 〔 在 最 顶层 ) 被 激活 
了 ， 那 么 它们 将 抑制 任何 来 自 于 “漫步 ” 层 的 新 脉冲 。 

最 顶端 的 “探索 ” 层 使 机 器 人 可 以 探索 它 周围 的 环境 ， 寻 找 远 处 的 物体 并 努力 “规划 ” 
条 路 径 抵达 这 个 目标 。 这 一 层 能 够 抑制 “漫步 ”指令 并 观察 底层 如 何 让 机 器 人 躲避 障碍 物 ， 记 
会 纠正 这 些 转向 行为 保证 机 器 人 朝 着 目标 方向 前 进 ， 在 约束 机 器 人 漫游 行为 的 同时 又 允许 最 底 
屋 的 躲避 功能 正常 工作 。 当 底层 偏离 了 目标 时 ， 这 个 “探索 ” 层 会 调用 “规划 ”状态 机 来 使 系 
统 向 着 目标 前 进 。Brooks 包容 结构 的 关键 之 处 是 系统 中 不 需要 任何 集中 的 符号 推理 过 程 ， 系 统 在 
采取 任何 动作 时 都 不 需要 搜索 可 能 的 下 一 个 状态 。 尽 管 这 种 基于 行为 的 有 限 状态 自动 机 是 基于 
其 自身 当前 状态 产生 行为 提示 的 ， 但 是 整个 系统 的 行为 是 建立 在 与 下 层 系统 的 交互 之 上 的 。 

刚才 介绍 的 三 层 结构 摘自 Brooks 对 一 种 漫步 探索 目标 机 器 人 的 早期 设计 。 后 来 ， 他 的 研究 
小 组 又 设计 了 一 种 更 复杂 具有 更 多 层 结构 的 系统 ( Brooks 1991a，Brooks and Stein 1994) 。 该 系统 
可 以 在 MIT 机 器 人 实验 室温 步 ， 寻 找 人 们 桌子 上 的 空 饮 料 钠 。 这 需要 具有 发 现 办 公 室 、 寻 找 和 
子 和 识别 饮料 炙 的 层 。 此 外 还 要 有 能 够 指导 机 器 人 手 避 把 找到 的 饮料 鱼 放 到 垃圾 桶 里 的 层 。 

Brooks 坚信 顶层 行为 会 随 着 下 面 各 层 的 设计 和 检验 而 涌现 出 来 。 最 终 的 连贯 设计 (需要 跨 层 
的 和 层 间 的 通信 ) 是 通过 实验 发 现 的 。 尽 管 这 种 设计 很 简洁 ， 但 是 这 种 包容 结构 已 经 在 很 多 应 
用 中 表现 出 了 很 好 的 性 能 ( Brooks 1989，1991a， 1997 ) 。 

个 过 ， 在 这 种 包容 结构 以 及 其 他 设计 控制 系统 的 有 关 方法 中 仍 存在 很 多 重要 的 问题 ( 见 
16.2 节 ) : 

1) 在 每 个 系统 层 都 存在 局 部 信息 的 充足 性 问题 。 因 为 在 每 一 层 ， 纯 粹 的 反应 状态 自动 机 是 
根据 局 部 信息 来 做 出 决策 的 ， 所 以 这 种 决策 很 难 考虑 不 属于 这 个 局 部 层 的 任何 信息 。 因 此 这 种 
决策 必然 是 “近视 ”的 。 

2) 如 果 绝 对 不 存在 关于 整个 环境 的 任何 “知识 ”或 “模型 "， 那 么 关于 局 部 环境 的 有 限 输 
人 入 怎 么 能 足以 决策 出 适合 全 局 情况 的 动作 呢 ? 怎么 实现 顶层 的 一 致 性 呢 ? 

3) 一 个 具有 有 限 状 态 的 纯 反 应 组 件 如 何 来 学 习 所 处 的 环境 呢 ? 如 果 可 以 说 总 的 主体 具有 知 
能 的 话 ， 那 么 在 系统 的 某 一 层 必须 有 足够 的 状态 产生 学 习 机 制 。 

4) 存在 一 个 规模 问题 。 尽 管 Brooks 和 他 的 助手 声称 已 经 建立 了 6 层 甚至 10 层 的 包容 体系 结 
构 ， 但 是 应 该 遵循 什么 设计 原则 来 扩展 到 更 进一步 的 感 兴趣 行为 呢 ? 也 就 是 这 种 方法 可 以 推广 
到 大 型 的 复杂 系统 吗 ? 

最 后 ， 我 们 还 要 问 什 么 是 “涌现 "? 它 是 魔术 般 的 吗 ? 在 科学 不 断 发 展 的 今天 , “涌现 ”一 
词 似乎 是 用 来 搞 塞 我 们 还 无 法 做 出 其 他 解释 的 现象 的 。 这 仿佛 告诉 我 们 建立 一 个 系统 并 把 它 放 
人 世界 中 检验 ， 它 便 会 显示 出 智能 。 不 幸 的 是 ， 如 果 没 有 更 深入 的 设计 指令 ， 那么 “涌现 ”就 
变 成 了 “ 尚 不 理解 ”的 代词 。 因 此 ， 很 难 想象 我 们 如 何 能 使 用 这 种 技术 建立 更 复杂 的 系统 。 在 
下 一 节 我 们 将 描述 Copycat 结构 ， 该 结构 可 以 通过 探索 发 现 和 利用 问题 域 中 的 恒定 性 。 


7. 3.2 ”Copycat 结构 


经 常 听 到 的 对 传统 AI 表示 模式 的 一 种 批评 是 这 些 模式 是 静态 的 ， 不 可 能 反映 思考 过 程 和 知 
能 的 动态 特征 。 例 如 ， 当 一 个 人 感知 到 一 种 新 的 情况 时 ， 他 经 常 是 不 由 自主 地 想起 这 个 新 的 情况 
和 已 知 的 或 类 似 的 情况 的 关系 。 事 实 上 ， 很 多 情况 下 我 们 发 现 人 类 的 感知 既是 从 底 至 上 的 (也 
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就 是 说 是 由 新 环境 中 的 模式 激发 的 ) ， 又 是 从 上 至 下 的 (是 受 主体 的 感知 期 望 影 响 的 ) 。 

Copycat 是 由 Melanie Mitchell (1993) 在 印第安 那 大 学 建立 的 一 种 问题 求解 结构 ， 最 初 是 以 
博士 论文 〈 受 Douglas Hofstadter 的 指导 ) 形式 发 表 的 (1995 ) 。Copycat 结构 是 建立 在 此 前 的 众多 
表示 技术 之 上 的 ， 包 括 黑 板结 构 〈 见 6.3 节 ) 、 语 义 网 ( 见 7.2 节 ) 、 连 接 网 络 〈 见 第 11 章 ) 以 
及 分 类 器 系统 (Holland 1986) 。 它 也 参考 了 Brooks 的 在 问题 域 中 动态 调节 的 问题 解决 方法 。 然 
而 与 Brooks 的 结构 以 及 连接 网 络 不 同 的 是 ，Copycat 需要 一 种 全 局 的 “状态 ”作为 问题 求解 器 的 
一 部 分 。 另 外 ，Copycat 所 用 的 表示 就 是 这 个 全 局 状态 的 不 断 演变 的 特征 。Copycat 支持 语义 网 的 
某 些 特征 ， 比 如 根据 经 历 改变 和 成 长 的 机 制 。 

Copycat 最 初 针对 的 问题 是 感知 并 建立 简单 的 类 推 。 从 这 个 意义 上 说 ， 它 是 建立 在 Evans 
(1968) 和 Reitman (1965) 的 早期 研究 之 上 的 。 这 一 领域 的 很 多 例子 是 完成 这 样 的 模式 ，hot is 
to cold as tall is to | wall，short，wet，hold1 ; 或 者 bear is to pig as chair is to {foot, table ，cof- 
fee，strawberry} 。Copycat 可 以 发 现 合适 的 字符 串 将 如 下 的 模式 补充 完整 : abc is to abd as ijk is 
to? 或 者 ，abc is to abd as 放 kk is to? 如 图 7-27。 

















用 后 继 字母 代替 最 右边 的 字母 或 字母 组 | 
> 
a b x a b d 
i 
IC .32 
最 右边 一 ~ 最 右边 
字母 一 -组 


图 7-27 Copycat 工作 空间 的 一 种 可 能 状态 
注 ; 图 中 画 出 了 字母 间 连 接 和 结合 的 几 个 例子 。 摘 自 Mitchell (1993 ) 


Copycat 是 由 三 个 主要 部 分 组 成 的 : 工作 空间 (workspace) 、 滑 动 网 络 (slipnet) 和 代码 轨道 
(coderack ) 。 当 这 三 个 部 分 交互 时 是 由 一 种 温度 尺度 来 仲裁 的 。 这 个 温度 尺度 捕获 了 系统 根据 感 
知 进行 组 织 的 程度 、 并 控制 在 决策 中 使 用 随机 性 的 程度 。 较 高 的 温度 反映 了 决策 依赖 的 信息 很 
少 ， 这 样 做 出 的 决策 更 具 随 机 性 。 温 度 下 降 表 明 系 统 建 立 的 决策 是 普遍 认可 的 ， 低 的 温度 表明 一 
种 答案 正在 浮现 ， 同 时 也 反映 了 程序 对 产生 解 的 “信心 ”。 

工作 空间 是 一 种 全 局 结构 ， 类 似 于 6. 3 节 中 的 黑板 ， 可 以 用 它 创建 系统 的 其 他 部 分 ， 也 可 以 
创建 观察 到 的 结构 。 从 这 个 意义 上 来 说 ， 它 非常 像 Holland (1986) 的 分 类 器 系统 中 的 消息 区 。 
工作 空间 就 是 在 输入 三 个 字符 串 ， 如 图 7-27) 层 之 上 建立 感知 结构 的 地 方 ， 给 出 了 这 个 工作 
空间 的 可 能 状态 ， 有 关 字 符 串 之 间 用 线 (箭头 ) 连接 起 来 。 

滑动 网 络 反 映 了 类 推 各 个 部 分 之 间 的 概念 网 络 或 潜在 关系 。 观 察 滑动 网 络 的 一 种 方法 是 将 
其 看 成 是 一 种 可 以 动态 变形 的 语义 网 ， 每 个 结 点 都 有 一 个 激活 水 平 。 网 络 中 的 连接 可 以 由 其 他 
结 点 加 标签 。 被 连接 结 点 是 根据 加 标签 结 点 的 激活 水 平 伸缩 的 。 系 统 以 这 种 方式 根据 具体 情况 
来 改变 结 点 之 间 的 关联 程度 。 系 统 更 加 鼓励 激活 那些 与 当前 上 下 文 关系 更 密切 的 结 点 。 

代码 轨道 是 一 种 包含 代码 片段 (codelet) 的 有 偏 概 率 优先 队列 。 代 码 片段 就 是 一 小 段 可 执行 
代码 ， 用 来 和 工作 空间 中 的 其 他 对 象 进行 交互 ， 并 试探 扩展 当前 解 的 某 个 很 小 部 分 ， 或 者 更 简单 
地 说 ， 其 用 途 就 是 为 了 从 不 同 的 角度 来 探索 问题 空间 。 在 Holland (1986) 的 系统 中 ， 代 码 片段 
非常 像 一 个 个 单独 的 分 类 器 。 

滑动 网 络 上 的 结 点 产生 代码 片段 并 将 其 发 送 到 代码 轨道 上 ， 按 照 一 定 的 概率 执行 该 过 程 。 
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因此 ， 系 统 并 行 地 维护 着 很 多 段 代码 ， 这 些 代码 段 竞争 得 到 在 工作 空间 中 寻找 和 建立 结构 的 机 
会 。 这 些 代码 与 它们 所 来 自 的 结 点 是 相对 应 的 。 这 是 由 上 至 下 活动 ， 目 的 是 寻找 已 经 产生 兴趣 的 
事物 的 更 多 例子 。 代 码 段 也 可 以 从 下 至 上 工作 ， 标 识 并 建立 工作 空间 中 已 经 存在 的 关系 。 

在 工作 空间 中 建立 结构 的 同时 ， 系 统 会 为 建立 此 结构 的 代码 段 所 对 应 的 结 点 加 一 个 激活 尺 
度 。 这 样 便 使 系统 的 当前 行为 可 以 影响 它 的 将 来 行为 。 

最 后 ， 温 度 尺度 起 到 了 衡量 工作 空间 中 各 个 结构 之 间 “ 内 聚 力 ” 的 反馈 机 制 的 作用 。 如 果 
没什么 内 除 力 ， 也 就 是 没什么 结构 可 以 提供 有 希望 的 解 ， 那 么 系统 所 作 的 概率 选择 的 偏向 便 不 
太 重要 : 一 种 选择 和 另 一 种 的 作用 差不多 。 当 内 聚 力 很 高 时 ， 概 率 选择 的 偏向 就 非常 重要 了 ， 做 
出 的 选择 与 解 的 发 展 密切 相关 。 

目前 仍 有 一 些 后 续 项 目 在 研究 Copycat 结构 ， 目 的 是 检验 设置 更 丰富 的 Copycat 结构 。Hof- 
stadter 和 他 的 学 生 ( Marshall 1999) 在 继续 研究 对 类 推 关系 建 模 。Lewis 和 Luger (2000) 已 经 把 
Copycat 结构 推广 应 用 到 移动 机 器 人 控制 系统 之 中 。 这 样 便 把 Copycat 放 入 了 一 个 可 以 不 断 学 习 的 
具体 环境 。 根 据 与 环境 的 对 话 进 行 演进 便 得 到 了 机 器 人 所 探索 空间 的 地 图 ,规划 或 重新 规划 了 
路 径 。 

7. 3.3 多 种 表示 、 本 体 和 知识 服务 


许多 复杂 的 人 工 智能 应 用 要 求 设计 多 个 表示 模式 ， 要 为 每 个 特定 任务 建立 一 个 表示 模式 ， 
这 样 结合 成 一 个 面向 用 户 的 软件 平台 。 建 立 一 个 虚拟 的 会 议 空间 是 一 个 简单 的 例子 。 从 不 同 地 
方 来 的 不 同 的 参加 者 要 在 这 个 虚拟 的 空间 中 相互 交流 。 除 了 语音 技术 ， 虚 拟 会 议 空间 可 能 需要 
视频 流 、 文 本 和 演示 共享 、 记 录 访 问 ， 等 等 。 解 决 该 任务 的 一 个 方法 是 改变 各 种 现 有 部 件 ， 把 它 
们 结合 成 一 个 支持 所 需 交 互 的 知识 服务 。 

刚才 描述 的 自动 虚拟 会 议 服 务 是 结合 多 个 表示 模式 来 提供 一 个 服务 的 实例 。 我 们 通常 使 用 
术语 本 体 (ontology) 来 刻画 服务 的 某 一 特定 部 件 的 表示 模式 。 最 终 的 知识 服务 需要 这 些 部 件 的 
结合 。 本 体 来 源 于 希腊 单词 “to be”， 意 思 是 存在 。 因 此 ， 这 个 术语 指 一 个 软件 模块 的 部 件 和 支 
持 这 些 部 件 交互 的 结构 ， 也 就 是 ， 它 们 的 功能 或 “组 成 物 ”( constituent being) 是 模块 的 一 部 分 。 

当 用 结合 起 来 的 模块 建立 知识 服务 时 ， 必 须 恰当 地 链接 每 个 模块 以 形成 无 颖 服务 。 我 们 假 
定 合并 每 个 模块 的 本 体 可 以 得 到 一 个 新 的 比较 复杂 的 本 体 ， 其 支持 所 有 服务 。 要 创造 一 个 新 的 
知识 服务 ， 例 如 提供 虚拟 会 议 的 软件 ， 每 个 部 件 的 本 体 必 须 能 被 理解 ， 并 且 为 了 结合 被 暴露 。 目 
前 有 很 多 用 于 创建 知识 服务 和 其 他 相关 软件 产品 的 本 体 语言 。 包 括 Owl 家 族 语言 (Mika et 
al. 2004) 、Java API 开放 源码 SOFA、 简 单 的 本 体 框架 〈 见 网 址 http ; //sopha. projects, semwetcen- 
tral. org/ ) 。 

实际 上 ， 在 现代 计算 中 ， 有 多 种 使 用 本 体 信 息 的 方式 ， 一 些 方式 比较 直接 ， 比 如 对 传统 数据 
库 中 存储 的 知识 的 最 优 访问 ， 另 外 一 些 相当 新 颖 。 由 于 万 维 网 的 重要 性 ， 复 杂 的 网 页 检索 器 和 搜 
索引 擎 是 至 关 重 要 的 支持 工具 。 虽 然 目 前 大 部 分 网 络 蜘蛛 (web spider) 在 与 文本 文件 直接 相连 
的 平台 上 搜索 ， 但 是 也 设想 有 一 个 更 复杂 的 检索 器 ， 其 能 详细 研究 相当 复杂 表示 的 类 和 链接 ， 也 
就 是 能 够 “解释 ”包括 图 和 图 像 的 比较 有 用 的 实体 。 

虽然 我 们 仍然 没有 能 力 进 行 全 局 “图 像 解 释 ”， 但 它 的 创立 有 助 于 支持 我 们 创建 一 个 语义 网 
的 愿望 。 我 们 可 能 想 浏览 我 们 的 假期 照片 ， 从 中 找 出 所 有 满足 某 个 条 件 的 照片 ， 例 如 包含 一 个 特 
定 的 人 或 动物 的 照片 。 在 万 维 网 的 一 个 较 大 的 工作 站 ， 我 们 可 能 不 仅 要 跟踪 和 找到 描述 自然 灾 
害 的 所 有 新 闻 ， 而 且 要 定位 表现 这 些 灾害 的 图 像 。 目 前 ， 我 们 通常 局 限于 搜索 图 的 标题 或 其 他 
(文本 ) 描述 材料 ， 这 些 信 息 是 图 的 内 容 的 一 个 线索 。 
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除了 解释 图 形 和 图 像 数据 外 ， 也 希望 能 定位 关于 某 个 主题 的 文本 数据 ， 并 给 出 其 内 容 的 概 
要 。 例 如 ， 我 们 可 能 想 在 线 搜索 某 领域 的 科技 论文 ， 并 给 出 它们 内 容 的 报告 。 虽 然 这 是 自然 语言 
理解 〈 见 第 15 章 ) 领域 的 当前 研究 主题 ， 但 其 实现 仍 属于 基于 计算 机 “语义 ” 能 力 的 边缘 。 目 
前 ， 我 们 只 能 搜索 较 少 的 关键 字 (这 些 关键 字 可 能 是 文章 内 容 的 指示 ) ， 也 许 能 打印 出 摘要 ， 但 
是 除了 这 些 ， 我 们 的 概 插 能 力 是 有 限 的 〈Ciravegna 和 Wilks 2004，Wilks 2004 ) 。 

网 络 服务 的 进一步 发 展 可 能 是 搜索 “帮助 - 需求 (help wanted) ”广告 。 要 找 一 个 具有 Java 
和 C ++ 技能 的 、 愿 意 在 某 个 城市 定居 的 软件 专家 。 网 络 检索 器 必须 知道 这 类 广告 的 一 些 信息 ， 
包括 公司 名 和 具体 位 置 。 这 些 广告 除了 给 出 需要 的 工作 能 力 ， 还 描述 了 必要 的 经 验 和 可 能 的 薪 
水 及 待遇 。 这 样 雇 佣 网 络 服 务必 须 具 有 访问 雇佣 “需求 广告 (want ads)” 设计 中 使 用 的 本 体 结 
构 的 知识 和 人 能力。15. 5 节 我 们 给 出 了 一 个 这 样 的 知识 服务 的 例子 。 

然而 ， 可 能 基于 本 体 的 知识 服务 最 重要 的 应 用 是 面向 主体 的 问题 求解 方法 。 在 处 理 任 务 时 ， 
主体 应 该 是 自治 的 、 独 立 的 、 灵 活 的 ， 且 能 适当 地 通信 。 基 于 主体 的 问题 求解 方法 是 高 度 分 布 
的 ， 例 如 可 能 要 求 构建 一 个 智能 网 服务 。 具 体 主体 能 力 的 创立 可 以 看 作 是 建立 和 链接 本 体 的 问 
题 。 在 下 节 基 于 主体 问题 求解 方法 部 分 ， 我们 进一步 讨论 表示 的 分 布 性 和 面向 部 件 的 观念 。 


7.4 基于 主体 的 和 分 布 式 的 问题 求解 方法 


在 20 世纪 80 年 代 的 AI 研究 领域 有 两 种 对 表示 在 智能 问题 求解 中 作用 的 认识 ， 对 后 来 的 研 
究 产 生 了 重要 的 影响 。 第 一 种 便 是 “分 布 式 人 工 智能 ”学 派 (也 就 是 DAI 学 派 ) 的 研究 方法 。 
第 一 个 DAI 工作 室 于 1980 年 在 MIT 成 立 ， 主 要 研究 包含 多 个 问题 求解 器 的 系统 ， 特 别 是 与 这 个 
系统 有 关 的 智能 问题 求解 。DAI 学 派 当 时 决定 不 关心 底层 的 并 行 问题 ， 比 如 如 何 分 布 处 理 不 同 的 
机 器 或 如 何 把 复杂 的 算法 并 行 化 。 相 反 ， 他 们 的 目标 是 如 何 有 效 协 调 分 布 的 问题 求解 器 来 智能 
地 求解 问题 。 事 实 上 ， 分布 式 处 理 在 人 工 智能 中 的 历史 比 这 还 要 早 ， 例 如 使 用 并 协调 actors 和 
demons ， 以 及 黑板 系统 的 设计 ( 见 6.3 节 )。 

20 世纪 80 年 代 的 第 二 种 研究 方法 便 是 Rodney Brooks 及 其 在 MIT 的 小 组 的 观点 ， 对 此 我 们 已 
经 在 7. 3 节 进行 了 介绍 。Brooks 对 传统 AI 表示 和 推理 观点 的 挑战 产生 了 重要 的 影响 ( 见 7.3.1 
节 )。 第 一 ， 智 能 问题 求解 不 需要 中 央 知 识 库 的 思想 导致 了 分 布 协作 智能 模型 的 产生 ， 在 该 模型 
中 分 布 表示 的 每 个 元 素 在 问题 求解 过 程 中 各 负 其 责 。 第 二 ， 智 能 的 情景 动作 理论 使 问题 求解 器 
可 以 把 解 过 程 的 不 同 部 分 下 放 到 其 各 自 的 环境 中 去 。 这 可 以 使 某 个 求解 器 只 针对 某 个 任务 ， 不 
必 具 有 如 何在 整个 问题 域 中 寻找 解 的 知识 。 例 如 ， 可 以 让 一 个 网 络 主体 来 检查 存货 信息 ， 而 让 另 
一 个 主体 检查 顾客 的 信用 度 ， 两 个 主体 都 不 必 关 心 更 高 层 的 决策 〈 比 如 是 否 批准 这 笔 交 易 ) 。 这 
两 种 研究 方法 至 今 仍 影响 着 智能 主体 的 设计 和 使 用 。 


7.4.1 基于 主体 的 定义 


在 进一步 讨论 有 关 主 体 (agent) 的 研究 之 前 ， 先 给 出 “主体 ”、“ 基 于 主体 的 系统 ”和 “多 
主体 系统 ”的 定义 。 在 关于 主体 的 研究 学 派 中 有 很 多 不 同 的 小 组 ， 他 们 对 “什么 是 基于 主体 的 
问题 求解 ” 持 有 的 看 法 并 不 完全 相同 。 本 书 的 定义 和 讨论 是 建立 在 以 下 研究 之 上 的 : Jennings， 
Sycara, and Wooldridge (1998)、 Wooldridge (2000)、Wooldridge et al. (2006, 2007) 以 及 Lewis 
and Luger (2000) 。 

我 们 认为 ， 多 主体 系统 是 这 样 一 个 计算 机 程序 : 包含 多 个 置 于 交互 环 壕 中 的 问题 求解 禹 ， 每 
个 求解 器 可 以 执行 灵活 、 自 主 、 但 符合 社会 要 求 的 动作 ， 每 个 动作 可 以 但 不 一 定向 着 预先 定义 的 
目标 前 进 。 因 此 ， 智 能 主体 系统 的 四 个 标准 是 : 情景 化 〈situated) 、 自 主 性 〈autonomous) 、 灵 活 
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性 (flexible) 及 社会 性 (social)。 

智能 主体 的 情景 化 是 指 这 个 主体 可 以 接收 环境 的 输入 ， 并 且 还 可 以 影响 环境 的 变化 。 情 景 
化 主体 的 环境 可 以 是 互联 网 、 比 赛 环境 或 者 机 器 人 所 处 的 环境 。 例如， 在 机 器 人 足球 世界 杯赛 
(ROBOCUP) 竞技 中 (Veloso et al. 2000) ， 每 个 主体 必须 与 足球 和 对 手 恰当 地 交互 ， 而 它 并 不 完 
全 知道 比赛 中 所 有 其 他 队员 的 位 置 、 不 足 和 优势 。 这 种 情景 化 明显 不 同 于 传统 的 AI 问题 求解 器 ， 
比如 8.4 节 中 的 STRIPS 规划 程序 、8. 3 节 中 的 MYCIN 专家 系统 ， 这 些 程 序 都 维护 着 一 个 中 央 知 
识 库 ， 里 面 详尽 包含 了 其 所 在 领域 中 的 大 量 知识 。 

自主 系统 的 含义 是 它 可 以 在 没有 其 他 主体 干预 的 情况 下 和 环境 进行 交互 。 要 做 到 这 一 点 ， 
它 必须 能 够 控制 自己 的 行为 和 内 部 状态 。 某 些 自主 系统 还 可 以 从 经 历 中 学 习 ， 不断 改善 性 能 
(参见 机 器 学 习 ， 第 四 部 分 ) 。 例 如 ， 在 互联 网 上 ， 自 主 主体 可 以 对 信用 卡 的 有 效 性 进行 检验 ， 
而 且 这 与 交易 中 的 其 他 问题 是 独立 的 。 在 机 器 人 足球 世界 杯赛 的 例子 中 ， 主 体 可 以 根据 所 处 的 
情况 传 球 给 队员 或 者 射门 。 

主体 的 灵活 性 是 指 它 可 以 根据 目前 情况 做 出 智能 响应 ， 而 且 具 有 前 摄 性 。 响 应 主体 可 以 接 
受 环境 的 刺激 并 做 出 及 时 恰当 的 反应 。 前 摄 主体 不 仅 可 以 对 环境 做 出 反应 ， 而 且 还 可 以 计划 ， 寻 
找 机 会 实现 目标 ， 并 且 对 于 不 同 的 情况 采取 不 同 的 合适 策略 。 例 如 ， 信 用 主体 可 以 要 求 用 户 重新 
提供 模 楼 两 可 的 信息 ， 或 者 在 查询 一 个 信用 卡 机 构 不 够 时 寻找 另 一 个 机 构 。 足 球 队员 主体 可 以 
根据 对 手 的 防御 措施 改变 带 球 方式 。 

最 后 ， 主 体 的 社会 性 是 指 它 可 以 和 其 他 软件 或 人 类 主体 进行 恰当 的 交互 ， 毕 竞 一 个 主体 仅 
是 复杂 问题 求解 过 程 的 一 部 分 。 通 过 交互 可 以 使 主体 的 目标 与 其 上 级 〈 更 大 的 多 主体 ) 系统 的 
目标 相 适应 。 主 体系 统 的 这 种 社会 性 必须 考虑 很 多 复杂 的 情况 ， 包 括 如 何 为 不 同 的 主体 分 配子 
任务 ? 各 个 主体 如 何 进行 通信 以 实现 更 高 层 的 目标 : 在 机 器 人 足球 世界 杯赛 例子 中 就 是 射门 得 
分 。 一 个 主体 如 何 支持 其 他 主体 的 目标 ?比如 处 理 互联 网 任务 的 安全 问题 。 所 有 这 些 关于 主体 社 
会 性 的 问题 还 是 正在 研究 的 课题 。 

我 们 已 经 介绍 了 创建 多 主体 系统 的 一 些 基本 问题 。 多 主体 系统 特别 适合 于 包含 很 多 问题 求 
解 方法 、 多 个 观察 角度 以 及 多 个 实体 的 表示 问题 。 在 这 些 领域 ， 多 主体 系统 具有 分 布 式 、 并 发 求 
解 问题 的 优点 ， 以 及 进行 复杂 ( 随机 调配 ) 交互 的 优势 。 交 互 的 例子 包括 为 实现 一 个 共同 目标 
而 进行 协同 工作 ;协同 组 织 问题 求解 活动 以 避免 有 害 的 交互 、 利 用 有 益 的 机 会 ; 协调 子 问题 约束 
以 实现 可 接受 的 性 能 。 正 是 这 些 社会 化 交互 的 灵活 性 把 多 主体 系统 与 传统 软件 区 别 开 来 ， 并 使 
基于 主体 的 系统 具有 令 人 激动 的 强大 功能 。 

近年 来 ， 多 主体 系统 一 词 是 指 由 多 个 半 自 主 组 件 组 成 的 所 有 类 型 的 软件 系统 。 分 布 式 主体 
系统 考虑 如 何 用 很 多 个 模块 〈 主 体 ) 来 求解 一 个 特定 的 问题 ， 这 些 模块 通过 分 割 和 共享 问题 及 
演化 解 的 知识 来 协作 。 多 主体 系统 研究 的 焦点 是 通过 多 个 自主 主体 (有 时 已 经 存在 》 组 成 的 群 
落 来 求解 一 个 给 定 问题 。 也 可 以 把 多 主体 系统 看 成 是 一 个 松 耦 合 的 问题 求解 器 网 络 ， 它 们 一 起 
工作 来 解决 可 能 超出 其 中 任 一 个 的 单独 能 力 的 问题 ( Durfee and Lesser 1989) 。 知 识 服务 和 本 体 的 
设计 见 7.3.3 节 。 

除了 自主 外 ， 还 可 以 把 多 主体 系统 的 问题 求解 器 设计 为 异 质 的 。 根据 Jennings、Sycara 和 
Wooldridge (1998) 及 Wooldridge 等 (2006， 2007) 的 分 析 ， 多 主体 问题 求解 具有 四 个 重要 的 特 
征 。 第 一 ， 每 个 主体 的 信息 和 能 力 对 于 求解 整个 问题 来 说 都 是 不 完全 的 ， 因 此 有 可 能 因为 观察 角 
度 的 有 限 而 遇 到 困难 。 第 二 ， 不 存在 任何 全 局 性 的 控制 器 来 控制 整个 问题 求解 过 程 。 第 三 ， 关于 
问题 的 知识 和 输入 数据 也 是 不 集中 的 。 第 四 ， 推 理 过 程 经 常 是 异步 的 。 

有 趣 的 是 ， 传 统 的 面向 对 象 程序 员 经 常 不 明白 基于 主体 的 系统 有 什么 新 意 。 如 果 考 虑 主体 
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和 对 象 的 相对 属性 ， 那 么 这 是 可 以 理解 的 。 对 象 是 一 种 具有 封装 状态 的 计算 系统 ， 具 有 与 状态 相 
关联 的 方法 ， 可 以 在 环境 中 进行 各 种 动作 ， 而 且 可 以 通过 传递 消息 来 通信 。 

对 象 和 主体 的 差异 之 一 是 对 象 很 少 对 自身 的 行为 进行 控制 。 我 们 不 说 一 个 主体 调用 另 一 个 
主体 的 方法 ， 而 是 说 请 求 执行 那个 动作 。 此 外 ， 主 体 设计 为 具有 灵活 性 〈 也 就 是 响应 性 和 前 摄 
性 ) 和 社会 性 。 最 后 ,交互 的 主体 通常 具有 自己 的 控制 线程 。 但 这 些 差异 并 不 是 说 面向 对 象 的 
程序 设计 语言 (如 C+ + 、Java 或 CLOS) 不 适合 用 来 建立 主体 系统 ; 恰恰 相反 ， 它 们 的 灵活 性 
和 强大 功能 使 其 成 为 建立 主体 系统 的 理想 工具 。 


7.4.2 基于 主体 的 应 用 


为 了 更 具体 地 理解 上 一 节 介 绍 的 思想 ， 本 节 介 绍 一 些 适 合 使 用 基于 主体 问题 求解 方法 的 应 
用 领域 。 同 时 也 介绍 一 些 关 于 这 些 领 域 研 究 的 参考 文献 。 


生产 可 以 用 工作 区 层次 模型 来 为 生产 领域 建 模 。 比 如 转 床 工 作 区 、 车 床 工作 区 、 喷 漆 
工作 区 、 组 装 工作 区 ， 等 等 。 然 后 可 以 把 这 些 工 作 区 组 成 多 个 生产 子 系统 ， 每 个 子 系统 
完成 更 大 生产 过 程 的 一 个 功能 。 然 后 再 把 这 些 子 系 统 组 成 一 个 工厂 。 更 大 的 实体 (比如 
公司 ) 可 以 控制 这 些 工厂 的 各 个 要 素 ， 例 如 管理 订单 、 存 货 、 利 润 ， 等 等 。 关 于 基于 主 
体 生产 的 研究 包括 生产 调度 (Chung and Wu 1997) 生产 操作 (Oliveira et al. 1997) 以 及 
产品 的 协作 设计 (Cutosky et al 1993，Darr and Birmingham 1996 以 及 Woldridge et 
al. 2007 ) 。 

自动 控制 ”因为 过 程控 制程 序 往往 是 一 种 自主 、 可 响应 (reactive) 、 而 且 经 常 是 分 布 式 的 
系统 ， 所 以 主体 模型 对 其 有 着 重要 的 作用 。 这 方面 的 研究 包括 传输 系统 (Corera et al. 
1996 ) 、 宇 航 器 控制 (Schwuttke and Quan 1993 ) 、 粒 子 东 加 速 器 (Perriolat et al. 1996, 
Klein et al. 2000) 、 空 中 交通 控制 (Ljunberg and Lucas 1992) 等 。 

电信 电信 系统 是 一 个 由 大 量 需 要 实时 监控 和 管理 的 交互 部 件 组 成 的 大 型 分 布 式 网 络 。 
基于 主体 系统 一 直 应 用 在 这 一 领域 中 ， 比 如 网 络 控制 和 管理 (Schoonderwoerd et al. 1997， 
Adler et al. 1989 ，Fatima et al. 2006 ) 、 信 息 发 送 和 交换 ( Nishibe et al 1993) 以 及 服务 
(Busuoic and Griffiths 1994)。 参 见 (Veloso et al 2000) ， 其 中 有 非常 全 面 的 讨论 。 

运输 系统 ”交通 系统 具有 固有 的 分 布 性 、 情 景 化 和 自主 特征 。 这 方面 的 应 用 包括 协调 乘 
客 和 出 租车 (Burmeister et al 1997) 以 及 运输 调度 (Fischer et al. 1996) 。 

信息 管理 ”当前 社会 中 ， 可 用 信息 的 丰富 性 、 多 样 性 和 复杂 性 是 出 人 意料 的 。 主 体系 统 
使 信息 的 智能 管理 成 为 可 能 ， 特 别 是 在 互联 网 上 。 不 论 是 人 的 因素 还 是 信息 的 组 织 方式 
似乎 都 为 轻松 地 访问 信息 设置 了 障碍 。 因 此 ， 该 领域 中 的 两 种 关键 主体 任务 是 信息 过 滤 
《可 以 访问 的 信息 中 仅 有 很 小 一 部 分 是 我 们 真正 想 要 的 ) 和 信息 收集 (搜集 我 们 确实 需 
要 的 信息 片段 并 对 其 按 优先 级 排序 ) 。 这 方面 的 应 用 包括 WEBMATE ( Chen and Sycara 
1998 ) 、 电 子 邮 件 过 滤 (Maes 1994) 、 网 络 浏览 助手 (Lieberman 1995) 以 及 专业 的 定位 
(expert locator) 主体 (Kautz et al 1997 ) 。 知 识 服务 见 7.3.3 节 。 

电子 商务 ”商业 自前 看 起 来 好 像 由 人 类 活动 推动 : 我 们 决定 什么 时 候 买 或 卖 ， 合 适 数量 
和 价格 ， 其 至 每 次 哪些 信息 是 合适 的 。 当 然 ， 商 业 领 域 很 适合 使 用 主体 模型 。 尽 管 要 开 
发 出 完全 的 电子 商务 主体 还 是 将 来 的 事 ， 但 是 目前 已 经 开发 出 了 一 些 可 用 的 系统 。 例 如 ， 
可 以 在 股票 市 场 中 做 出 买卖 决定 的 程序 ， 它 是 建立 在 很 多 不 同 的 分 布 信息 基础 上 的 。 正 
在 开发 的 主体 系统 还 有 证 券 管理 (Sycata et al 1996) 、 采 购 助手 ( Doorenbos et al 1997 ， 
Krulwich 1996) 以 及 交互 式 分 类 (Schrooten and van de Velde 1997, Takahashi et al. 
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1997 ) 。 
。 交互 式 游戏 和 剧场 游戏 和 剧场 提供 了 一 种 丰富 的 交互 式 模拟 环境 。 这 些 主体 可 以 把 我 
们 置身 于 战争 游戏 、 财 务 管理 ， 甚 至 体育 运动 的 情景 之 中 。 剧 场 主体 可 以 表演 人 类 演员 
的 角色 ， 可 以 产生 有 情感 的 生活 幻觉 ， 模 拟 医疗 紧急 情况 ， 或 经 过 训练 完成 其 他 各 种 任 
务 。 这 一 领域 的 研究 包括 计算 机 游戏 ( Wavish and Graham 1996) 、 交 互 式 人 物 角 色 
(Hayes-Roth 1995 ，Trappl and Petta 1997) 和 谈判 (Fatima et al. 2006 ) 。 
当然 还 有 很 多 其 他 的 领域 也 适合 使 用 基于 主体 的 方法 。 
尽管 主体 技术 在 智能 问题 求解 方面 具有 很 多 优势 ， 但 是 它 也 存在 很 多 要 克服 的 不 足 。 以 下 
这 些 问 题 是 以 Jennings et al.、(1998) 和 Bond and Gasser (1988) 中 的 思想 为 基础 的 。 
。 如 何 系统 地 形式 化 和 分 解 问题 ， 以 及 如 何 把 问题 分 配 到 各 个 主体 ? 此外， 如何 综 合 各 个 
主体 的 结果 ? 
。 如 何 使 各 个 主体 相互 通信 和 交互 ? 目前 有 什么 样 的 通信 语言 和 协议 可 供 使 用 ”什么 样 的 
通信 内 容 以 及 何 时 进行 通信 是 合适 的 ? 
。 如 何 保证 主体 在 行动 和 决策 时 协调 一 致 ? 主体 怎样 处 理 非 局 部 信息 并 避免 有 害 的 相互 
作用 ? 
。 单个 主体 如 何 表示 并 推理 其 他 主体 的 动作 、 计 划 和 知识 以 便 与 其 他 主体 合作 ? 主体 如 何 
对 协作 过 程 中 的 状态 进行 推理 ? 
。 如 何 识 别 并 避免 对 整个 系统 有 害 的 动作 ， 比 如 杂乱 无 序 或 来 回 振荡 的 动作 ? 
。 如 何 分 配 并 管理 有 限 的 资源 ， 不 论 是 单个 主体 的 还 是 整个 系统 的 ? 
。 最 终 ， 支 持 和 开发 主体 系统 的 最 佳 硬件 平台 和 软件 技术 是 什么 ? 
要 设计 基于 主体 的 问题 求解 软件 所 需 的 技巧 贯穿 于 本 书 的 全 部 章节 中 。 第 一 ， 智 能 问题 求 
解 要 求 的 表示 技术 是 本 书 的 一 个 重要 主题 。 第 二 ， 搜 索 技 术 ， 尤 其 是 启发 式 搜索 ， 可 以 在 本 书 的 
第 二 部 分 中 找到 。 第 三 ，8. 4 节 介绍 的 规划 技术 提供 了 如 何在 组 织 问题 解 的 过 程 中 排列 和 协调 各 
个 子 目标 的 方法 。 第 四 ，9. 3 节 给 出 了 不 确定 情况 下 的 随机 推理 技术 。 最 后 ， 第 四 部 分 和 第 五 部 
分 是 针对 学 习 、 自 动 推 理 和 自然 语言 理解 问题 的 。 这 些 传统 的 AI 子 领域 在 创建 主体 结构 中 都 发 
挥 着 重要 的 作用 。 
还 有 一 些 用 于 主体 模型 的 设计 技术 超出 了 本 书 的 范围 ， 例 如 ， 主 体 的 通信 语言 、 投 标 方案 以 
及 分 布控 制 技术 。 这 些 问 题 是 那些 专门 针对 主体 的 文献 (Jennings 1995; Jennings et al 1998; 
Wooldridge 1998 ; Wooldridge et al. 2006 ，2007; Fatima et al. 2005，2006)， 尤 其 是 很 多 国际 会 议 
(AAAI、IJCAI 以 及 DAI) 的 讨论 对 象 。 


7.5 结语 和 参考 文献 


在 这 一 章 中 ， 分 析 了 用 于 知识 表示 的 一 些 主要 替代 方法 ， 包 括 逻辑 、 规 则 、 语 义 网 和 框架 。 
我 们 还 介绍 了 不 带 中 央 数 据 库 的 系统 ， 以 及 通用 的 推理 模式 。 最 后 ， 讨 论 了 使 用 主体 的 分 布 式 问 
题 求解 技术 。 详 细 介绍 这 些 方法 的 目的 是 为 了 深 人 理解 这 些 表 示 方 法 的 优势 和 不 足 。 不 过 ， 对 每 
种 方法 的 自然 性 、 高 效 性 和 恰当 性 的 争论 还 在 继续 。 下 面 简 要 讨论 知识 表示 领域 的 几 个 重要 问 
题 ， 并 以 此 结束 本 章 。 

首先 是 用 于 知识 表示 的 原子 符号 的 选择 和 粒度 。 世 界 中 的 对 象 构成 了 映射 的 定义 域 ; 知识 
库 中 的 计算 对 象 是 映射 的 值 域 。 因 此 ， 表 示 语 言 的 原子 要 素 特征 很 大 程度 上 决定 了 可 以 对 世界 
做 出 什么 样 的 描述 。 例 如 ， 如果“ 汽车 ”是 表示 中 的 最 小 原子 ， 那么 这 个 系统 就 无 法 对 发 动机 、 
轮胎 以 及 汽车 的 任何 部 件 做 出 推理 。 不 过 ， 如 果 让 原子 对 应 于 这 些 部 件 ， 那 么 要 把 “汽车 ” 作 
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为 一 个 单一 概念 来 表示 就 需要 更 大 的 结构 ， 操纵 这 种 更 大 的 结构 势必 带 来 效率 上 的 更 大 开销 。 

在 自然 语言 理解 中 也 需要 折 中 考虑 选择 什么 样 的 原子 符号 。 例 如 ， 使 用 单个 单词 作为 语义 
元 素 的 程序 ， 在 表示 没有 单个 词 表 示 的 复杂 概念 时 便 可 能 遇 到 困难 。 在 分 辩 同 一 单词 的 多 个 含 
义 或 同一 含义 的 多 个 单词 时 也 会 有 困难 。 解决 这 一 问题 的 一 种 方法 是 使 用 语义 原 语 一 一 独立 于 
语言 的 概念 单位 一 一 作为 表示 自然 语言 含义 的 基础 。 尽 管 这 种 方法 避免 了 使 用 单个 单词 作为 语 
义 单位 的 问题 ， 但 是 它 带 来 了 另 一 些 问题 : 需要 用 复杂 的 结构 来 定义 某 些 单词 ; 依赖 少量 原 语 很 
难 表达 许多 微妙 的 差异 ， 比 如 push 和 shove 以 及 yell 和 scream。 

恰当 的 表示 应 该 有 助 于 实现 知识 库 的 详尽 性 ( exhaustiveness) 。 如 果 某 一 属性 的 所 有 情况 或 
一 类 对 象 中 的 所 有 个 体 都 对 应 于 某 一 明确 的 表示 元 素 ， 那 么 这 种 映射 便 是 详尽 的 。 相 对 某 一 详 
细 度 来 说 地 图 是 详尽 的 ， 如 果 缺 少 某 个 城市 或 某 条 河流 ， 那 么 便 不 能 称 其 为 导航 工具 。 尽 管 大 多 
数 知识 库 是 不 详尽 的 ， 但 是 相对 特定 属性 或 对 象 具 有 详尽 性 是 知识 库 的 期 望 目 标 。 例 如 ， 如 果 可 
以 假定 表示 具有 详尽 性 ， 那 么 规划 程序 便 可 以 忽略 框架 问题 的 可 能 影响 。 

当 我 们 把 问题 描述 为 由 一 系列 动作 或 事件 改变 的 世界 状态 ， 而 且 这 些 动作 或 状态 通常 仅 改 
变 这 种 描述 的 几 个 部 分 时 ; 程序 必须 能 够 推断 这 个 世界 描述 中 的 副作用 和 隐 含 变化 。 这 种 表示 
动作 副作用 的 问题 称 为 框架 问题 。 举 例 来 说 ， 如 果 让 一 个 机 器 人 向 卡车 上 装 很 重 的 箱子 ， 那 么 这 
个 机 器 人 必须 对 由 于 箱 重 导 致 的 卡车 车 厢 降 低 进行 补偿 。 如 果 表 示 具 有 详尽 性 ， 那 么 就 不 存在 
未 指定 的 副作用 ， 同 时 也 就 可 以 有 效 地 消除 框架 问题 。 框 架 问 题 的 难点 在 于 对 于 大 多 数 领域 来 
说 要 建立 完全 可 详尽 的 知识 库 是 不 可 能 的 。 表 示 语 言 应 该 帮助 程序 员 决 定 可 以 安全 地 忽略 哪些 
知识 ， 并 帮助 程序 员 处 理 这 些 忽 略 所 导致 的 结果 (8. 4 节 讨 论 了 规划 中 的 框架 问题 ) 。 

与 详尽 性 相关 的 是 可 塑性 〈plasticity ) ， 或 者 叫做 表示 的 可 修改 性 ， 因 为 增加 知识 是 解决 详 
尽 性 不 足 的 首要 方法 。 由 于 大 多 数 知识 库 都 不 具备 详尽 性 ， 所 以 它 应 该 可 以 被 很 容易 地 修改 和 
更 新 。 除 了 增加 知识 的 语法 要 简洁 外 ， 表 示 还 应 该 有 助 于 保证 知识 库 在 增删 知识 时 的 信息 一 致 
性 。 例 如 ， 继 承 〈 使 新 的 实例 可 以 继承 类 的 属性 ) 便 有 助 于 保证 信息 的 一 致 性 。 

有 些 系统 ， 包括 Copycat ( Mitchell 1993) 和 Brooks 的 机 器 人 (7.3 节 )， 通 过 设计 随 自然 
世界 的 约束 而 变化 或 演变 的 网 络 结构 来 处 理 可 塑性 问题 。 在 这 些 系统 中 ， 表 示 是 在 自 底 向 上 
获取 新 数据 的 过 程 中 形成 的 (同时 受 感知 系统 的 期 望 约束 ) 。 类 比 推理 是 这 种 系统 的 一 个 
例子 。 

表示 的 男 一 个 有 用 属性 是 知识 库 与 世界 之 间 映 射 的 同 构 程度 。 这 里 ， 同 构 是 指 世 界 中 的 对 
象 或 动作 与 表示 语言 中 的 计算 对 象 和 运算 操作 是 一 一 对 应 的 。 通 过 同 构 映射 知识 库 可 以 更 自 
然而 且 直 观 地 反映 和 组 织 问 题 域 中 的 结构 。 

除了 自然 性 、 直 接 性 和 易 用 性 外 , 评估 表示 模式 好 坏 的 标准 还 有 计算 效率 。Levesque 和 
Brachman (1985) 讨论 了 如 何在 表达 力 和 高 效 性 之 间 做 出 折 中 。 当 用 逻辑 语言 作为 表示 模式 时 ， 
其 完备 性 带 来 了 很 高 的 表达 力 ， 不 过 基于 无 约束 逻辑 的 系统 在 效率 方面 要 付出 很 高 的 代价 ， 参 
见 第 14 章 。 

刚刚 提 到 的 大 多 数 表 示 问 题 关 系 到 任何 用 计算 机 表达 信息 的 场合 。 在 设计 分 布 式 主体 系统 
时 还 必须 考虑 很 多 更 深层 的 问题 。 这 些 问 题 包括 利用 部 分 〈 局 部 ) 信息 做 出 决策 、 分 解 任务 、 
主体 的 通信 语言 ， 以 及 开发 算法 以 实现 主体 间 的 合作 和 信息 共享 。7.4 节 对 这 方面 的 许多 问题 作 
了 介绍 。 

最 后 要 说 明 的 是 ， 如 果 要 按照 Clark (1997 ) 、Haugeland (1997) 以 及 Dennett (1991， 
1995 ，2006 ) 提出 的 分 布 式 的 基于 环境 的 智能 方法 实现 所 谓 的 “leaky” 系 统一 一 利用 环境 和 
其 他 主体 作为 存储 和 使 用 知识 的 关键 介质 ， 那 么 可 能 还 需要 发 明 一 种 全 新 的 表示 语言 。 另 外 ， 
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基于 或 支持 Brooks (1991a) 提出 的 “使 用 世界 作为 其 自身 模型 思想 的 表示 工具 还 不 知 在 
何 处 。 

下 面 我 们 为 本 章 介绍 的 内 容 提供 一 些 更 深入 的 参考 资料 。Selz (1913, 1922) 、Anderson and 
Bower (1973)、 Sowa (1984)、Collins and Quillian (1969) 研究 了 关联 理论 ， 该 理论 一 直 用 来 对 
计算 机 和 人 类 记忆 以 及 推理 建 模 。 

语义 网 处 理 系统 (Shapiro 1979 ，Shapiro et al 2007) 是 最 早 的 基于 联想 主 义 /逻辑 (associa- 
tionist/logic) 表示 之 一 ， 见 7.1 节 。 最 近 ， 语义 网 处 理 系统 作为 一 个 工具 被 扩展 用 于 元 认 知 ， 其 
中 谓词 允许 以 其 他 谓词 作为 参数 ， 因 此 支持 对 知识 库 结 构 进 行 推理 。 

结构 化 知识 表示 语言 方面 的 重要 工作 包括 Bobrow 和 Winograd 的 KRL 表示 语言 (Bobrow and 
Winograd 1977) 、Brachman (1979) 的 KL-ONE 表示 语言 ， 后 者 特别 强调 了 结构 化 表示 的 语义 
基础 。 

我 们 对 概念 图 的 介绍 很 大 一 部 分 取材 于 John Sowa 的 著作 《Conceptual Structures》 (1984)。 
建议 读者 参考 该 书 以 了 解 本 书 忽略 的 细节 。 在 完整 的 概念 图 中 ， 可 以 把 谓词 演算 、 模型 和 高 阶 逻 
辑 的 表示 力 融 合 在 一 起 ， 并 内 建 来 自 认识 论 、 心 理学 和 语言 学 的 大 量 概念 和 关系 。 

针对 表示 问题 的 其 他 方法 还 有 很 多 。 例 如 ，Brachman、Fikes 和 Levesque 提出 了 一 种 强调 功 
能 说 明 的 表示 方法 ， 功 能 说 明 包 括 ， 可 以 向 知识 库 询 问 哪些 问题 ， 以 及 它 可 以 告诉 我 们 哪些 信息 
(Brachman 1985, Brachman et al. 1985, Levesque 1984) 。 

很 多 参考 书 可 以 帮助 我 们 进一步 研究 这 些 问 题 。Brachman 和 Levesque (1985) 编辑 的 
《Readings in Knowledge Representation》 汇编 了 这 一 领域 的 很 多 重要 但 已 过 时 的 文章 。 在 该 书 中 可 
以 找到 本 章 引 用 的 很 多 文章 ， 只 不 过 本 章 所 指出 的 是 这 些 文章 的 原始 出 处 。 以 下 读物 都 是 很 重 
要 的 : Bobrow and Collins (1975) 编著 的 《Representation and Understanding》、Davis (1990) 编著 
的 《Representation of Commonsense Knowledge》、Weld and deKleer (1990) 编著 的 《Readings in 
Qualitative Reasoning about Physical Systems》。Brachman 等 人 (1990) 编著 的 《Principles of Knowl- 
edge Representation and Reasoning》、Mylopoulos and Levesque (1984) 编著 的 《Overview of Knowl- 
edge Representation》， 以 及 人 工 智能 年 会 的 论文 集 都 是 很 有 用 的 资源 。 

还 有 很 多 论文 和 文章 继续 研究 由 Brooks 提出 的 研究 课题 以 及 他 提出 的 包容 结构 ; 尤其 要 参 
见 Brooks (1991a) 、Brooks and Stein (1994)、Maes (1994) 和 Veloso 等 人 (2000)。 关 于 分 布 式 
和 物化 本 质 的 知识 和 智能 的 哲学 观点 ， 参 见 Andy Clark 的 《Being There》(1997 ) 。 

对 基于 主体 方法 的 研究 在 现代 AI 中 非常 流行 。Jennings 等 人 (1998) 对 这 一 领域 进行 了 介 
绍 。 目 前 在 AI 年 会 (IAAI 以 及 JCAI) 中 有 些 部 分 完全 是 针对 主体 研究 的 。 推 荐 读者 参考 这 些 
会 议 的 最 新 学 报 以 了 解 该 领域 的 最 新 研究 动态 。 我 们 也 推荐 读者 阅读 一 下 分 布 式 人 工 智能 
(DAI) 领域 的 会 议 学 报 和 读物 。7. 4 节 简 要 介绍 了 有 关 主 体 研究 重要 应 用 的 参考 文献 。 

在 AI 和 认 知 科学 之 间 的 中 间 领 域 也 存在 知识 表示 问题 ， 参 见 《 Cognitive Science: The Sci- 
ence of Intelligent Systems》 (Luger 1994) 以 及 《Being There》 (Clark 1997 ) George Luger (1995) 
的 《Computation and Intelligence》 收 集 了 很 多 集中 讨论 各 种 不 同 表 示 模 式 的 经 典 论 文 。 


7.6 习题 


1. 常识 推理 采用 的 是 因果 、 类 比 和 等 价 等 方法 ， 但 使 用 的 方式 不 同 于 形式 语言 。 例 如 ， 如 果 我 们 说 “Infla- 
tion caused Jane to ask for a raise. ”， 那 么 暗示 了 一 种 在 简单 定律 中 找 不 到 的 更 复杂 原因 。 如 果 我 们 说 
“Use a knife or chisel to trim the wood. ”， 那么 是 在 暗示 一 种 重要 的 等 价 概念 。 请 讨论 如 何 把 这 些 语言 以 及 
类 似 这 样 的 概念 翻译 成 形式 语言 。 

2. 在 7.2.1 节 中 给 出 了 反对 用 逻辑 表示 常识 知识 的 理由 。 请 给 出 一 个 支持 使 用 逻辑 来 表示 常识 知识 的 理 
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由 。McCarthy and Hayes (1969) 进行 了 有 趣 的 讨论 。 
3. 将 下 面 的 话 分 别 翻 译 为 谓词 演算 、 概 念 依赖 和 概念 图 形式 ， 


“Jane gave Tom an ice cream cone” 

“Basketball players are tall2” 

“Paul cut down the tree with an axe” 

“Place all the ingredients in a bowl and mix thoroughly” 


4. 阅读 Woods (1985) 所 写 的 《Whats in a Link》 一 文 。 该 文 的 第 4 节 列 出 了 知识 表示 中 的 很 多 问题 。 利 
用 逻辑 、 概 念 图 和 框架 表示 为 这 些 问 题 各 提出 一 种 解决 方法 。 
5. 将 图 7-28 中 的 概念 图 翻译 成 英语 语句 。 


z 
CD 


proposition: 











proposition: 














图 7-28 要 翻译 成 英文 的 两 个 概念 图 


6. 联合 与 约束 运算 定义 了 一 种 针对 概念 图 的 泛 化 序 ， 说 明 这 种 泛 化 关系 是 可 传递 的 。 

7. 利用 联合 与 约束 的 概念 图 特 化 不 是 保 真 操 作 。 给 出 一 个 例子 说 明 真实 图 的 约束 未 必 是 真实 的 。 然 而 , 真 
实 图 的 泛 化 总 是 为 真 的 ; 证 明 这 一 点 。 

8. 利用 概念 图 定义 一 种 专用 的 语言 来 描述 公共 图 书馆 的 行为 。 语 言 中 应 该 包含 一 系列 用 概念 图 表示 的 概念 
和 关系 。 然 后 再 为 零售 业 也 定义 一 套 同样 的 语言 ， 找 出 这 两 套 语 言 中 都 有 的 概念 和 关系 ， 并 指出 哪些 概 
念 和 关系 在 两 种 语言 中 都 有 但 含义 不 同 。 

9. 将 图 7-28 中 的 概念 图 翻译 成 谓词 演算 表示 。 

10. 将 2.4 节 中 的 财务 顾问 知识 库 翻 译 成 概念 图 形式 。 

11， 从 你 的 经 历 中 找 出 一 些 证 据 来 说 明 人 类 的 记忆 是 以 类 似 脚 本 或 类 似 框架 的 方式 组 织 的 。 

12. 利用 概念 依赖 表示 为 以 下 情况 定义 脚本 : 
a) 快餐 店 。 
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b) 和 二 手 车 销售 员 交 互 。 
c) 听 歌 剧 。 


. 为 “交通 工具 ”这 个 概念 建立 子 类 型 层次 图 ; 例如 ， 它 的 子 类 型 包括 “ 陆 上 交通 工具 ”和 “水 上 交通 


工具 ”。 这 两 个 子 类 型 又 包括 进一步 的 子 类 型 。 这 种 关系 最 好 表示 为 树 、 格 子 、 还 是 一 般 的 图 ? 对 “ 运 
动 ” 和 “愤怒 ”这 两 个 概念 重复 以 上 的 过 程 。 


.建立 一 种 类 型 层次 ， 其 中 某 些 类 型 没有 公共 的 超 类 型 。 加 入 类 型 使 其 成 为 一 种 网 格 形式 。 这 种 层次 可 


以 用 树 表 示 吗 ? 这 样 做 会 有 什么 问题 ? 
下 面 的 每 个 字符 序列 都 是 按照 某 个 一 般 规则 产生 的 。 为 每 个 序列 建立 一 种 表示 来 描述 该 序列 中 的 规则 


或 关系 。 

a) 2, 4, 6, 8,， 

b) 1, 2, 4, 8, 16, ..: 
c) 1, 1, 2, 3, 5, 8, 
d) 1, a, 2, c, 3, f, 4, 


e) o, t, t, f, f, s, s, 

7.3.2 节 中 介绍 了 两 个 类 比 推理 的 例子 。 设 计 一 种 恰当 的 表示 和 搜索 策略 来 识别 每 种 情况 下 的 最 佳 答 
案 ， 再 建立 两 个 类 推 的 例子 证 明 你 提出 的 表示 是 有 效 的 。 能 解决 下 面 这 两 个 实例 吗 ? 

a) hot is to cold as tall is to {wall, short, wet, hold} 

b) bear is to pig as chair is to {foot, table, coffee, strawberry} 


描绘 一 种 表示 可 以 用 来 求解 类 似 图 7-29 中 的 类 比 问题 。T. G. Evans (1968) 讨论 了 这 类 问题 。 这 种 表 
未 必须 能 够 表示 大 小 、 形 状 和 相对 位 置 等 关键 特征 。 


Choose one: 


A B C D 
图 7-29 ”类比 测试 问题 的 例子 

Brooks 的 论文 〈1991a) 中 包含 了 对 表示 在 传统 AI 中 作用 的 重要 讨论 。 阅 读 这 篇 论文 ， 并 谈 一 谈 显 式 
的 、 通 用 表示 模式 的 不 足 。 
在 7.3.1 节 的 末尾 ,介绍 了 Brooks 包容 结构 存在 的 5 个 潜在 问题 。 选 择 其 中 的 一 个 或 多 个 加 以 评论 。 
如 果 要 用 一 种 主体 语言 来 实现 面向 主体 的 互联 网 服务 ， 那 么 这 种 语言 应 该 具有 哪些 特征 ( 列 出 5 种 )? 
对 Java 作为 一 种 通用 主体 语言 在 建立 互联 网 服务 方面 的 作用 加 以 评论 。 你 发 现 CLOS 也 有 类 似 的 作用 
吗 ? 为 什么 ? 关于 这 一 问题 在 互联 网 上 有 很 多 资料 。 
在 7.4 节 的 接近 末尾 部 分 提 到 了 面向 主体 方法 中 存在 的 很 多 重要 困难 。 选 择 其 中 之 一 加 以 评论 。 
假定 你 在 设计 一 个 主体 系统 来 表示 一 个 足球 队 或 橄 槛 球 队 。 为 了 在 防守 或 进攻 策略 中 进行 合作 ， 这 些 
主体 必须 对 其 他 主体 的 计划 和 可 能 反应 有 所 了 解 。 建 立 一 个 模型 来 描述 其 他 合作 主体 的 日 标 和 计划 。 
在 7.4 节 中 归纳 的 主体 结构 应 用 领域 中 选择 一 个 领域 。 选 择 并 阅读 该 领域 中 的 一 篇 研究 或 应 用 论文 。 
然后 设计 一 种 针对 该 问题 的 主体 结构 ， 把 这 个 问题 分 解 到 每 个 主体 ， 列 出 恰当 的 合作 过 程 。 
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智能 主体 性 能 表现 出 的 问题 求解 能 力主 要 是 由 其 知识 库 决 定 的 ， 其 次 才 是 它 所 采用 的 推理 
方法 ， 这 是 知识 工程 的 第 一 原则 。 专 家 系统 必须 具备 丰富 的 知识 ， 即 使 方法 差 一 些 。 这 是 一 个 非 
常 重要 的 成 果 ， 但 直到 最 近 它 才 被 AI 界 充分 理解 。 在 很 长 的 一 段 时 期 内 ，AI 一 直 把 几乎 所 有 的 
注意 力 都 集中 在 开发 聪明 的 推理 方法 上 ; 其 实 几 乎 所 有 推理 方法 都 可 以 胜任 。 求 解 问 题 的 威力 
在 于 知识 。 
一 一 Edward Feigenbaum， 斯 坦 福 大 学 


知识 就 是 力量 。 
一 一 弗朗西斯 .培根 


8.0 简介 


本 章 继续 研究 智能 表示 问题 ， 探 讨 AI 的 一 个 重要 组 成 部 分 : 求解 问题 的 知识 密集 型 方法 ， 
即 强 方法 (strong method ) 。 

人 类 专家 能 够 表现 出 很 高 的 推理 水 平 是 因为 他 们 对 自己 所 处 的 专业 领域 了 解 得 非常 透彻 。 
这 个 简单 的 道理 是 设计 强 方法 或 基于 知识 的 问题 求解 器 的 理论 基础 (参见 第 三 部 分 的 简介 ) 。 例 
如 ， 专 家 系统 就 是 这 样 的 程序 ， 它 使 用 针对 某 一 问题 域 的 知识 为 该 领域 提供 “专家 级 ”的 服务 。 
概括 地 讲 ， 专 家 系统 设计 者 首先 在 人 类 专家 的 帮助 下 获取 知识 ， 然 后 再 用 专家 系统 来 模仿 人 类 
专家 的 方法 和 能 力 。 和 人 类 专家 一 样 ， 专 家 系统 往往 是 专门 针对 某 一 狭窄 领域 的 。 另 外 和 人 类 一 
样 ， 专 家 系统 也 可 以 通过 在 求解 问题 实践 中 获得 的 知识 来 增加 技巧 、 捷 径 和 启发 ， 从 而 提高 它们 
对 问题 域 的 理论 理解 。 

因为 专家 系统 都 有 使 用 启发 和 知识 密集 型 的 特征 ， 所 以 它们 通常 : 

1) 支持 观察 推理 过 程 ， 既 可 以 给 出 中 间 步 又 ， 也 可 以 回答 有 关 求 解 过 程 的 问题 。 

2) 允许 很 容易 地 向 知识 库 中 增加 或 从 中 删除 技巧 。 

3) 启发 式 推理 ,利用 (经常 是 有 缺陷 的 ) 知识 得 到 有 用 的 解 。 
专家 系统 的 推理 过 程 是 对 观察 开放 的 ， 它 可 以 提供 问题 求解 状态 的 信息 ， 也 可 以 对 程序 的 决策 
或 选择 做 出 解释 。 如 果 要 让 人 类 专家 接受 计算 机 的 推荐 ， 那 么 解释 是 非常 重要 的 。 因 为 很 少 有 哪 
个 专家 在 没有 理解 某 个 建议 时 轻易 接受 它 ， 更 不 用 说 计算 机 提出 的 建议 了 。 

AI 和 专家 系统 程序 设计 的 探索 性 要 求 这 些 程序 必须 可 以 很 容易 地 被 原型 化 、 检 验 和 修改 。 
设计 AI 程序 设计 语言 和 环境 时 的 一 个 目标 便 是 如 何 支 持 这 种 循环 的 开发 方法 。 例 如 在 纯粹 的 产 
生 式 系统 中 ， 修 改革 个 单一 规则 根本 不 会 对 全 局 语法 产生 任何 副作用 。 因 此 ， 在 加 入 或 删除 规则 
时 不 需要 对 更 上 级 程序 进行 修改 。 专 家 系统 设计 者 经 常 解释 知识 库 的 易 修改 性 是 生产 一 个 成 功 
的 程序 的 主要 因素 。 

专家 系统 的 另 一 个 特征 是 使 用 启发 式 的 问题 求解 方法 。 专 家 系统 设计 者 们 已 经 发 现 ， 非 正 
式 的 “ 窒 门 ”和 “经 验 法 则 ”是 对 书本 上 正式 理论 的 重要 补充 。 有 了 时 这 些 规则 以 可 理解 的 方式 
扩展 了 理论 知识 ， 而 且 经 常 成 为 行 之 有 效 的 捷径 。 

专家 系统 可 以 用 来 求解 很 多 领域 的 问题 ， 比 如 医疗 、 数 学 、 工 程 、 化 学 、 地 质 学 、 计 算 机 科 
学 、 商 业 、 法 律 、 国 防 和 教育 等 领域 的 问题 。 这 些 程序 所 针对 的 问题 非常 广泛 ， 下 面 列 出 了 一 些 
常见 的 问题 (摘自 Waterman 1986 ) : 
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解释 一 一 从 大 量 原始 数据 总 结 出 高 层 结论 。 

预测 一 一 推测 出 给 定 情 况 下 可 能 发 生 的 结果 。 

诊断 一 一 根据 可 观察 的 症状 决定 复杂 环境 中 的 故障 原因 。 

设计 一 对 系统 组 件 进 行 配 置 ， 以 达到 目标 性 能 ， 同 时 要 满足 一 系列 设计 约束 。 

规划 一 根据 给 定 的 起 始 条 件 和 运行 期 约束 ， 设 计 出 一 系列 动作 以 实现 目标 。 

监控 一 一 将 观察 到 的 系统 行为 和 它 的 期 望 行为 进行 比较 。 

指导 一 一 对 技术 领域 的 教学 过 程 提供 帮助 。 

控制 一 一 对 复杂 环境 下 的 行为 进行 管理 。 

本 章 首 先 分 析 基 于 知识 的 问题 求解 方法 。 成 功 的 知识 工程 必须 有 全 面 的 考虑 ， 从 选择 合适 
的 应 用 领域 ， 到 选择 恰当 地 获取 和 形式 化 问题 求解 知识 的 方法 。8. 2 节 介 绍 基于 规则 的 系统 ， 并 
给 出 了 一 个 产生 式 系统 以 说 明 求解 和 解释 过 程 的 软件 体系 结构 。8. 3 节 分 析 了 基于 模型 的 和 基于 
实例 的 推理 技术 。8. 4 节 讨论 了 规划 一 一 将 知识 片 组 织 成 一 系列 可 以 实现 目标 的 动作 的 过 程 。 第 
9 章 中 将 介绍 的 不 确定 情况 下 的 推理 技术 对 设计 强 方法 问题 求解 器 来 说 也 是 非常 重要 的 。 


8. 1 专家 系统 技术 概览 


8. 1.1 基于 规则 的 专家 系统 设计 


图 8-1 画 出 了 典型 专家 系统 的 各 个 组 成 模块 。 用 户 接口 是 用 户 与 系统 之 间 的 交互 渠道 ， 它 简 
化 了 通信 过 程 并 隐藏 了 大 多 数 复 杂 细 节 ， 比 如 规则 库 的 内 部 结构 。 专 家 系统 的 人 机 接口 有 很 多 
种 ， 包 括 问答 式 、 菜 单 驱动 或 图 形 接口 等 。 接 口 类 型 的 最 终 选 择 应 当 折 中 考虑 用 户 的 需求 以 及 知 
识 库 系统 和 推理 系统 的 需要 。 











图 8-1 专家 系统 的 典型 体系 结构 


专家 系统 的 核心 是 包含 特定 应 用 领域 知识 的 知识 库 。 在 基于 规则 的 专家 系统 中 ， 知 识 被 表 
示 为 “如 果 …… 那 么 ……” 形 式 的 规则 ， 如 8.2 节 的 例子 所 示 。 知 识 库 既 包 含 一 般 知 识 ， 又 包 
含 针 对 实例 的 信息 。 

推理 引擎 应 用 知识 来 求解 实际 的 问题 。 它 实质 上 是 知识 库 的 一 个 解释 器 。 在 产生 式 系统 中 ， 
推理 引擎 执行 “识别 - 动作 ”控制 循环 。 这 个 实现 控制 循环 的 过 程 与 产生 式 规则 本 身 是 分 开 的 。 
把 知识 库 和 推理 引擎 分 开 维护 是 很 重要 的 ， 主 要 原因 有 : 

1) 这 种 分 离 使 我 们 可 以 更 自然 地 表示 知识 。 例 如 , “如 果 …… 那 么 ……” 形式 的 规则 比 底 
层 的 计算 机 代码 更 接近 人 类 描述 问题 求解 技巧 的 方式 。 
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2) 因为 知识 库 与 程序 的 底层 控制 结构 是 分 离 的 ， 所 以 专家 系统 设计 者 可 以 把 精力 集中 在 获 
取 和 组 织 求解 问题 的 知识 上 ， 而 不 是 计算 机 实现 的 细节 。 

3) 理想 情况 下 ， 知 识 和 控制 的 分 离 可 以 使 修改 一 部 分 知识 库 不 会 对 其 他 部 分 产生 副作用 。 

4) 知识 和 控制 要 素 的 分 离 使 一 套 控制 和 接口 软件 可 用 于 多 个 系统 。 专 家 系统 外 沈 具 有 图 8- 
1 中 除 知 识 库 和 针对 实例 的 数据 外 的 所 有 部 分 一 一 这 两 个 部 分 可 以 根据 新 的 应 用 加 入 。 图 8-1 中 
的 虚 框 指出 了 外 壳 模 块 。 

专家 系统 必须 记录 针对 实例 的 数据 ， 也 就 是 和 实例 有 关 的 事实 、 结 论 和 要 考虑 的 其 他 信息 。 
具体 包括 问题 实例 中 给 出 的 数据 、 部 分 结论 、 结 论 的 置信 度 以 及 搜索 过 程 中 的 死 端 。 这 些 信息 和 
一 般 知 识 库 是 分 开 的 。 

解释 子 系统 用 来 向 用 户 对 推理 进行 解释 。 解 释 包括 系统 是 如 何 做 出 结论 的 一 一 回答 how 查询 
( 见 8.2 节 ); 为 什么 系统 需要 特定 的 数据 片 一 一 回答 why 查询 ( 见 8.2 节 ); 以 及 关于 程序 动作 
的 有 价值 的 辅导 性 解释 或 者 深层 的 理论 依据 。 

很 多 系统 还 包括 知识 库 编辑 器 。 知 识 库 编 辑 器 可 以 帮助 程序 员 定 位 和 修改 程序 的 执行 错误 ， 
因此 经 常 要 访问 解释 子 系统 所 提供 的 信息 。 知 识 库 编辑 器 还 可 以 帮助 增加 新 的 知识 、 维 护 和 纠 
正规 则 语法 、 对 更 新 后 的 知识 库 进行 一 致 性 检查 。 

目前 很 多 专家 系统 的 设计 和 发 布 时 间 大 大 降低 的 一 个 重要 原因 是 可 以 立刻 得 到 专家 系统 外 
壳 。 例 如 ，NASA 建立 了 CLIPS; JESS 可 以 从 Sandia 国家 实验 室 得 到 ; 在 补充 资料 里 我 们 提供 了 
一 个 用 LISP 和 Prolog 写 的 外 壳 。 不 幸 的 是 ， 外 壳 程 序 并 不 能 解决 建立 专家 系统 所 要 解决 的 所 有 
问题 。 尽 管 知识 和 控制 的 分 离 、 产 生 式 系 统 体系 结构 的 模块 化 以 及 使 用 合适 的 知识 表示 语言 都 
有 助 于 专家 系统 的 建立 ， 但 是 获取 和 形式 化 应 用 领域 内 的 知识 仍然 是 很 难 的 任务 。 


8. 1.2 问题 选择 和 知识 工程 的 步骤 


开发 专家 系统 需要 投入 相当 多 的 人 力 和 财力 。 企 图 求解 过 于 复杂 、 还 未 充分 理解 或 目前 技 
术 还 难以 胜任 的 问题 将 导致 代价 昂贵 的 、 难 堪 的 失败 。 为 此 ， 研 究 人 员 总 结 出 了 一 些 原则 来 判断 
一 个 问题 是 否 适合 用 专家 系统 来 求解 : 

1) 需求 程度 决定 了 开发 专家 系统 值得 投入 的 成 本 和 精力 。 很 多 领域 已 经 建立 起 了 专家 系 
统 ， 比 如 探矿 、 商 务 、 国 防 和 医疗 等 挖掘 这 些 现 有 系统 的 潜力 可 以 大 大 节约 金钱 、 时 间 和 
人 力 。 

2) 人 类 专家 无 法 出 现在 所 有 需要 他 们 的 地 方 。 例 如 在 地 质 领域 ， 偏 远 的 挖掘 和 钻探 站 点 也 
很 需要 专家 。 因 此 ， 地 质 学 家 和 工程 师 们 很 多 时 候 要 长 途 跋涉 到 各 个 站 点 ， 导 致 很 大 的 经 济 开销 
而 且 浪费 了 很 多 时 间 。 如 果 在 这 些 站 点 安装 一 套 专家 系统 ， 那 么 很 多 问题 不 需 专家 亲自 访问 就 
可 以 解决 了 。 

3) 利用 符号 推理 可 以 求解 的 问题 。 问 题 求解 过 程 不 应 该 需要 敏捷 的 物理 运动 或 感知 技术 。 
机 器 人 和 机 器 视觉 系统 目前 还 缺乏 人 类 的 技巧 和 灵活 性 。 

4) 结构 性 好 而 且 不 需要 常识 推理 的 领域 。 高 科技 领域 具有 研究 深信 和 规范 的 优点 : 有 定义 
周密 的 术语 和 清晰 的 概念 模型 。 相 反 ， 常 识 推理 是 难以 自动 化 的 。 

5) 使 用 传统 计算 技术 不 可 以 解决 的 问题 。 专 家 系统 技术 不 该 用 在 那些 不 必 使 用 专家 系统 的 
领域 。 如 果 一 个 问题 可 以 用 更 传统 的 方法 得 到 满意 的 解 ， 那 么 便 没 有 必要 考虑 专家 系统 。 

6) 有 乐于 合作 又 善于 表达 的 专家 。 专 家 系统 的 知识 来 源 于 工作 在 这 个 领域 的 人 的 经 验 和 判 
断 。 因 此 这 些 专家 愿意 而 且 能 够 分 享 知识 是 非常 重要 的 。 

7) 问题 的 大 小 和 范围 很 合适 。 举 例 来 说 ， 试 图 用 一 个 程序 来 捕获 一 个 医生 的 所 有 医疗 技能 
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是 不 可 能 的 ; 相反， 用 一 个 程序 为 医学 博士 们 提出 诊断 建议 或 关于 菜 一 医疗 设备 用 法 的 建议 更 
可 行 一 些 。 

建立 专家 系统 过 程 中 涉及 的 主要 人 员 是 知识 工程 师 、 领 域 专家 和 最 终 用 户 。 知 识 工程 师 是 
AI 语言 和 表示 专家 。 他 们 的 主要 任务 是 为 这 个 项 目 选择 软 硬 件 工具 ， 帮 助 领域 专家 表示 必要 的 
知识 ， 并 准确 高 效 地 实现 知识 库 。 很 多 时 候 ， 知 识 工程 师 起 初 是 不 了 解 应 用 领域 的 。 

领域 专家 的 任务 是 提供 问题 域 中 的 知识 。 领 域 专家 通常 已 经 在 该 领域 工作 多 年 而 且 理 解 该 
领域 中 的 各 种 问题 求解 技术 ， 比 如 各 种 捷径 、 处 理 不 精确 的 数据 、 评 估 部 分 解 的 好 坏 以 及 人 们 认 
为 专家 该 具有 的 其 他 技能 。 领 域 专家 主要 负责 向 知识 工程 师表 达 出 这 些 技能 。 

和 大 多 数 应 用 一 样 ， 最 终 用 户 决定 着 主要 的 设计 约束 。 如 果 用 户 不 高 兴 ， 那么 开发 所 付出 的 
精力 基本 上 是 白费 了 。 因 此 必须 在 整个 设计 循环 中 始终 考虑 用 户 的 需求 和 技能 ， 这 个 程序 是 否 
会 使 用 户 的 工作 更 简单 、 更 迅速 、 更 舒适 ?用 户 需要 什么 程度 的 解释 ? 用 户 是 否 能 为 系统 提供 正 
确 的 信息 ? 用 户 接口 是 否 合适 ? 用 户 的 工作 环境 是 否 会 限制 程序 的 使 用 ? 例如 ， 需 要 打字 输入 的 
接口 就 不 适合 用 在 飞行 器 的 座舱 中 。 

和 开发 大 多 数 AI 程序 一 样 ， 建 立 专家 系统 需要 一 种 非 传统 的 开发 循环 : 先 以 早期 的 原型 为 
基础 ， 然 后 再 逐步 改进 代码 。 一 般 来 说 ， 最 初 的 工作 是 从 知识 工程 师 了 解 和 熟悉 问题 域 开 始 的 。 
这 有 助 于 和 领域 专家 沟通 。 具 体 做 法 可 以 是 和 专家 面谈 或 观察 专家 工作 的 方法 。 接 下 来 ， 知 识 工 
程 师 和 专家 开始 提取 专家 求解 问题 的 知识 。 这 经 常 是 通过 向 专家 询问 一 系列 问题 并 让 他 们 解释 
他 们 在 求解 问题 时 所 用 的 技术 来 实现 的 。 在 这 个 过 程 中 使 用 录像 和 录音 工具 是 很 必要 的 。 

很 多 时 候 ， 知 识 工 程 师 不 熟悉 问题 域 是 很 有 用 的 。 众 所 周知 ， 人 类 专家 常常 不 悄 于 解释 求解 
复杂 问题 过 程 中 的 精确 细节 。 很 多 时 候 他 们 忘记 提 到 那些 对 他 们 来 说 很 明显 的 步骤 ， 他 们 已 经 
在 该 领域 工作 多 年 ， 所 以 有 些 步 又 下 意识 地 或 本 能 地 完成 了 。 如 果 知 识 工程 师 对 该 领域 是 比较 
陌生 的 ， 那 么 他 们 就 可 以 发 现 这 些 概 念 上 的 跳 牙 并 提出 来 。 

一 旦 知识 工程 师 已 经 对 问题 域 有 了 概括 性 的 了 解 ， 并 和 专家 参加 了 几 个 解决 问题 的 会 议 ， 
那么 就 可 以 开始 实际 的 系统 设计 了 : 选择 一 种 表示 知识 的 方法 ， 比 如 规则 或 框架 ; 决定 一 种 搜索 
策略 ， 正 向 、 反 向 、 深 度 优先 还 是 最 佳 优 先 ; 并 设计 用 户 接口 。 在 设计 好 了 这 些 事项 后 ， 知 识 工 
程 师 便 建 立 起 了 一 个 原型 。 . 

这 个 原型 应 该 能 够 求解 该 领域 中 某 个 小 范围 的 问题 并 为 初步 的 设计 假设 提供 一 个 检验 平台 。 
实现 了 原型 之 后 ， 知 识 工程 师 和 领域 专家 便 可 以 通过 给 出 一 些 问题 来 检验 并 改进 它 的 知识 ， 以 
纠正 它 的 不 足 。 如 果 设 计 原 型 时 所 作 的 假定 被 证 实 是 正确 的 ， 那 么 就 可 以 不 断 地 扩展 这 个 原型 
了 ， 直 到 实现 最 终 的 系统 。 

专家 系统 是 通过 循序 渐进 的 和 逼近 过 程 建立 起 来 的 ， 不 断 发 现 程 序 的 不 足 ， 在 解决 不 足 时 又 
不 断 地 增加 或 纠正 知识 库 。 从 这 个 意义 上 来 说 ， 知 识 库 是 “长 ”起 来 的 ， 而 不 是 “ 建 ”起 来 的 。 
图 8-2 所 示 的 流程 图 描述 了 这 种 探索 程序 设计 开发 的 循环 过 程 。Seymour Papert 在 他 的 LOGO 语 
言 中 使 用 了 这 种 程序 设计 方法 (Papert 1980) ，Alan Kay 在 施乐 公司 帕 洛 阿尔 托 研究 中 心 研究 
Smalltalk 也 探讨 了 这 种 方法 。L0G0 的 逻辑 是 ， 观 察 到 计算 机 输出 一 种 表示 不 当 的 格式 可 以 引导 
开发 者 用 更 精确 的 代码 来 纠正 并 澄清 这 些 部 分 。 这 种 试验 - 纠正 候选 方案 的 过 程 在 专家 系统 的 
开发 中 是 非常 常见 的 ， 这 与 那些 纯粹 的 自 顶 向 下 设计 的 层次 结构 是 完全 不 同 的 。 

如 果 原 型 变 得 过 于 笨重 或 者 设计 者 决定 修改 求解 问题 的 基本 方法 ， 那 么 抛弃 目前 的 原型 也 
是 可 以 理解 的 。 原 型 使 程序 设计 者 可 以 通过 建立 实际 程序 探索 问题 和 各 种 重要 的 关系 。 在 这 个 
循序 渐进 的 探索 过 程 完成 之 后 ， 设 计 者 经 常 可 以 用 更 少 的 规则 写 出 更 简洁 的 版 本 。 

专家 系统 编程 的 第 二 个 特征 是 永远 不 要 考虑 这 个 项 目 “ 结 束 "”。 一 个 庞大 的 启发 式 知识 库 总 是 存 
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在 不 足 的 。 产 生 式 系统 模型 的 模块 化 使 增加 新 规则 变 得 很 自然 ， 而 且 可 以 随时 弥补 知识 库 中 的 不 足 。 








定义 问题 和 目标 













是 否 可 以 进 
行 最 终 评估 ? 


图 8-2 ”探索 性 开发 循环 


8. 1.3 ”概念 模型 及 其 在 知识 获取 中 的 作用 


图 8-3 给 出 了 知识 获取 过 程 的 一 个 简化 模型 ， 可 以 将 其 当 作 一 个 “初步 近似 ”， 以 帮助 我 们 
理解 如 何 获得 并 形式 化 人 类 的 专业 技能 。 工 作 在 某 一 应 用 领域 的 人 类 专家 可 以 娴熟 地 运用 该 领 
域 的 知识 和 技能 并 进行 实践 。 这 种 知识 经 常 是 含糊 的 、 不 精确 的 、 而 且 表 述 也 是 不 完全 的 。 因 此 
知识 工程 师 必须 将 这 些 非 正 式 的 专业 技能 翻译 成 适合 计算 机 系统 使 用 的 形式 语言 。 在 形式 化 人 
类 技能 时 会 遇 到 很 多 重要 的 问题 : 

1) 人 类 的 技能 经 常 是 下 意识 的 。 正 如 亚 里 士 多 德 在 他 的 《伦理 学 》 中 所 指出 的 , “我 们 必 
须 学 习 如 何 实践 ， 但 我 们 是 通过 实践 来 学 习 的 ”"。 例 如 ， 医 学 博士 所 拥 用 的 技能 主要 是 通过 多 年 
的 实习 和 临床 经 验 以 及 对 患者 的 长 期 关注 而 获得 的 。 医 疗 技能 很 大 程度 上 是 由 实践 产生 的 。 在 
工作 了 多 年 之 后 ， 这 些 技能 已 经 高 度 集成 到 一 起 而 且 基本 上 可 以 下 意识 地 完成 。 对 专家 来 说 ， 要 
精确 地 描述 他 求解 问题 的 详细 过 程 可 能 是 有 困难 的 。 

2) 人 类 专家 经 常 是 知道 如 何 处 理 某 种 情况 ， 但 却 不 知道 这 种 情况 的 理性 特征 是 什么 。 他 们 
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能 够 妖 熟地 工作 ， 但 并 不 关心 其 中 潜在 的 原理 是 什么 。 一 个 明显 的 例子 便 是 骑 独 轮 车 ;实际 上 ， 
成 功 的 独 轮 车 骑手 无 须 求解 保持 平衡 的 微分 方程 组 ， 而 是 依赖 对 “重力 ”"、“ 冲 量 ” 和 “惯性 ” 
的 直觉 来 形成 一 种 有 效 的 控制 过 程 。 

3) 我 们 通常 把 知识 获取 看 成 是 取得 关于 客观 实体 〈 即 所 谓 的 “真实 世界 ") 的 事实 知识 的 
过 程 。 理 论 和 实践 都 已 经 证 明 ， 人 类 专家 使 用 模型 来 表示 世界 中 的 个 体 或 团体 。 而 且 这 些 模型 除 
了 受 试验 方法 影响 外 ， 还 受 个 人 习惯 、 社 会 过 程 等 的 影响 。 

4) 专业 技能 是 变化 的 。 人 类 专家 不 仅 不 断 地 获取 新 知识 ， 而 且 还 经 常 对 现 有 的 知识 进行 重 
组 ， 这 一 点 已 经 被 科学 和 社会 领域 中 的 很 多 争论 所 证 实 。 


知识 获取 


tf p(x)a q(X,Y) 
then r(Y) 


Hf u(X)a v(Y) 
then s{X,Y) 


{fr(Y)a stX,Y) 
then t(X,Y) 





专业 技能 实现 系统 
图 8-3 专家 系统 的 建立 过 程 
因此 ， 知 识 获取 是 一 项 难度 很 大 的 工程 ， 而 且 它 对 延长 专家 系统 的 生命 周期 有 着 重要 的 作 
用 。 为 了 简化 这 一 工程 ， 图 8-4 所 示 的 概念 模型 是 很 有 用 的 ， 该 模型 将 人 类 的 专业 技能 和 程序 实 
现 联 系 起 来 。 这 里 所 说 的 概念 模型 就 是 指 知识 工程 师 关 于 领域 知识 的 概念 。 尽 管 这 无 疑 与 领域 
专家 的 作用 有 所 不 同 ， 但 是 正 是 这 种 模型 决定 了 形式 知识 库 的 建立 。 


概念 模型 












知识 获取 pg 知识 库 程序 设计 






lt p(x}a q(X,Y) 
then r(Y) 











If u(X}a v(Y) 
then s(X,Y) 








ffr(Y)A S(X,Y) 
then t(X,Y) 






专业 技能 实现 系统 
图 8-4 概念 〈 或 智力 ) 模型 在 问题 求解 中 的 作用 
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因为 我 们 感 兴趣 的 大 多 数 问题 都 是 很 复杂 的 ， 所 以 我 们 不 应 该 对 这 种 中 间 阶 段 想当然 。 知 
识 工程 师 们 应 该 依据 软件 工程 方法 学 写 出 文档 并 公布 他 们 的 设想 。 专 家 系统 应 该 包括 需求 文档 ， 
不 过 由 于 探索 性 程序 设计 的 局 限 ， 专 家 系统 的 需求 应 该 随 着 原型 的 发 展 而 发 展 。 数 据 词典 、 状 态 
空间 的 图 形 表示 以 及 代码 本 身 的 注释 都 是 这 个 模型 的 组 成 部 分 。 通 过 公开 这 些 设计 决策 ， 可 以 
大 大 减少 在 实现 和 维护 程序 过 程 中 所 出 现 的 错误 。 

知识 工程 师 应 该 保存 和 领域 专家 的 谈话 记录 。 很 多 时 候 ， 随 着 知识 工程 师 对 该 领域 理解 的 
加 深 ， 他 们 会 对 该 领域 产生 新 的 解释 或 者 发 现 新 的 信息 。 记 录 和 解释 文档 对 评估 设计 决策 和 检 
验 原 型 有 着 重要 的 价值 。 总 而 言 之 ， 模 型 在 知识 形式 化 的 过 程 中 起 到 了 中 介 的 作用 。 表 示 语 言 的 
选择 对 知识 工程 师 的 领域 模型 有 很 大 的 影响 。 

概念 模型 并 不 是 可 以 在 计算 机 上 直接 执行 的 形式 代码 。 它 只 是 一 种 中 间 设 计 结 构 ， 一 种 用 
来 约束 和 编撰 人 类 技能 的 模板 。 如 果 知 识 工程 师 使 用 的 是 谓词 演算 模型 ， 那 么 他 可 以 从 一 些 简 
单 的 代表 典型 情况 推理 状态 的 网 络 表示 开始 。 只 有 经 过 进一步 的 改进 之 后 ， 这 些 网 络 才 会 变 成 
显 式 的 “如 果 …… 那 么 ……” 规 则 。 

在 概念 模型 中 经 常 遇 到 的 问题 有 : 问题 解 是 确定 的 还 是 基于 搜索 的 ? 推理 是 数据 驱动 的 
(可 能 带 有 “产生 - 检验 ”的 风格 ) 还 是 目标 驱动 的 (建立 在 少量 可 能 假设 的 集合 基础 上 )? 问 
题 域 是 已 被 深入 理解 而 且 能 够 提供 深入 描述 模型 的 ， 还 是 所 有 问题 - 求解 知识 实质 上 都 是 启发 
式 的 ? 我 们 可 以 使 用 过 去 问题 的 例子 以 及 它们 的 解 来 直接 解决 将 来 的 问题 ,还 是 必须 先 把 这 些 
例子 转变 成 通用 的 规则 ? 知识 是 精确 的 还 是 “模糊 ”和 近似 的 (要 对 确定 性 进行 数字 评估 ) ( 见 
第 9 章 )? 推理 策略 是 否 允许 对 问题 域 做 出 稳定 的 结论 ， 或 者 说 是 否 需要 对 系统 内 的 变化 和 不 确 
定性 进行 非 单 调 推理 ， 即 对 以 后 可 能 变化 的 领域 做 出 断言 的 能 力 〈 见 9.1 节 )? 最 后 ， 领 域 知识 
的 结构 是 不 是 不 适合 基于 规则 推理 ， 而 要 使 用 像 神经 网 络 和 遗传 算法 这 样 的 候选 的 表示 模式 
( 见 第 四 部 分 )? 

概念 模型 中 还 应 该 考虑 最 终 用 户 的 需要 : 他 们 对 最 终 程序 的 期 望 ?” 他们 的 专业 水 平 ， 新 手 、 
中 等 还 是 专家 ? 解释 到 什么 程度 合适 ? 什么 样 的 界面 最 能 满足 他 们 的 需要 ? 

有 了 对 这 些 ( 和 其 他 ) 问题 的 答案 、 从 领域 专家 那里 获取 的 知识 以 及 相应 的 概念 模型 ， 我 
们 便 可 以 开始 开发 专家 系统 。 因 为 产生 式 系统 (最 先是 在 第 6 章 介绍 的 ) 为 组 织 和 应 用 知识 提 
供 了 很 多 内 在 的 强大 支持 ， 所 以 在 基于 规则 的 专家 系统 中 经 常 把 它 作 为 知识 表示 的 基础 。 


8.2 基于 规则 的 专家 系统 


基于 规则 的 专家 系统 把 求解 问题 的 知识 表示 为 “如 果 …… 那 么 ……” 形 式 的 规则 。 这 种 方 
法 所 对 应 的 就 是 图 8-1 所 示 的 体系 结构 ， 是 在 专家 系统 中 表示 域 知 识 的 最 古老 技术 之 一 。 它 也 是 
最 自然 的 而 且 仍 然 在 实际 的 和 试验 性 的 专家 系统 中 广泛 应 用 的 技术 之 一 。 


8. 2. 1 产生 式 系统 和 目标 驱动 问题 求解 


可 以 从 第 二 部 分 介绍 的 产生 式 系 统 模型 角度 来 理解 基于 规则 专家 系统 的 体系 结构 。 二 者 的 
相似 之 处 从 这 个 比喻 可 见 一 斑 : 产生 式 系统 是 现代 专家 系统 体系 结构 的 智能 先驱 ， 通 过 应 用 产 
生 式 规则 可 以 提炼 对 特定 问题 域 的 理解 。 当 Newell 和 Simon 开发 产生 式 系统 时 ， 他 们 的 目标 就 是 
对 人 类 在 问题 求解 中 的 行为 建 模 。 

如 果 把 图 8-1 中 的 专家 系统 体系 结构 看 成 是 一 个 产生 式 系统 ， 那 么 针对 特定 领域 的 知识 库 就 
是 产生 式 规则 和 集合。 在 基于 规则 的 系统 中 ， 这 些 条 件 和 动作 对 被 表示 为 “如 果 …… 那 么 ……” 
形式 的 规则 ,规则 的 前 提 (“如 果 ” 部 分 ) 对 应 于 条 件 ; 结论 (“那么 ”部 分 ) 对 应 于 动作 : 当 
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条 件 被 满足 时 ， 专 家 系统 便 执行 断言 结论 为 真 对 应 的 动作 。 可 以 把 针对 实例 的 数据 放 在 工作 内 
存 中 。 推 理 引 擎 实现 了 产生 式 系统 的 识别 -动作 循环 ; 控制 方法 可 以 是 数据 驱动 的 ， 也 可 以 是 目 
标 驱动 的 。 

对 于 许多 问题 域 来 说 ， 使 用 正 向 搜索 方法 更 加 自然 。 例 如 ， 在 解释 问题 中 ， 问 题 的 大 多 数 数 
据 在 一 开始 便 已 给 出 ， 而 且 很 难 归纳 出 假设 和 目标 。 这 暗示 我 们 应 该 使 用 正 向 的 推理 过 程 ， 把 现 
有 数据 放 人 工作 内 存 ， 然 后 系统 搜索 解释 ， 人 参见 3.2 节 。 

在 目标 驱动 的 专家 系统 中 ， 起 始 时 便 把 目标 表达 式 放 人 工作 内 存 。 系 统 把 规则 的 站 论 和 目 
标 匹 配 ， 找 到 匹配 的 规则 后 便 把 它 的 前 提 放 人 工作 内 存 。 这 相当 于 把 问题 的 目标 分 解 为 更 小 的 
子 目 标 。 然 后 在 下 一 次 迭代 中 把 这 些 结论 变 成 新 的 目标 与 规则 的 结论 匹配 ， 继 续 这 个 过 程 。 因 此 
这 个 系统 是 从 原始 目标 开始 反 向 工作 的 ， 直 到 工作 内 存 中 的 所 有 子 目 标 都 已 知 为 真 ， 说 明 这 个 
假设 被 证 实 。 因 此 ， 专 家 系统 中 的 反 向 搜索 大 体 对 应 于 人 类 求解 问题 时 的 假设 检验 过 程 ， 参 见 
3.2 节 。 

在 专家 系统 中 ， 可 以 通过 向 用 户 询问 信息 来 求解 子 目 标 。 某 些 专 家 系统 允许 系统 设计 者 指 
定 哪些 子 目 标 可 以 通过 询问 用 户 求 解 。 更 简单 的 做 法 就 是 询问 知识 库 无 法 匹配 的 所 有 子 目标 ， 
也 就 是 ， 如 果 系 统 无 法 推理 子 目标 的 真实 性 ， 那 么 它 便 询 问 用 户 。 

下 面 举 一 个 分 析 汽 车 传动 系统 故障 的 专家 系统 例子 ， 以 此 来 说 明 目 标 驱动 的 问题 求解 方法 
(可 以 向 用 户 询问 ) 。 这 不 是 一 个 完整 的 诊断 系统 ， 因 为 它 仅 有 四 条 非常 简单 的 规则 。 我 们 的 目 
的 是 通过 这 个 例子 来 说 明 如 何 追 索 规 则 、 集 成 新 数据 以 及 使 用 解释 工具 。 


规则 1: 如 果 
发 动机 在 抽 油 而 且 发 动机 会 旋转 ， 
那么 
火花 塞 有 问题 。 
规则 2: 如 果 
发 动机 不 旋转 而 且 灯 不 亮 ， 
那么 
电池 或 电缆 有 问题 。 
规则 3: 如 果 
发 动机 不 旋转 而 且 灯 亮 ， 
那么 
启动 马达 有 问题 。 
规则 4: 如果 
油箱 中 有 油 而 且 化 油 器 中 有 油 ， 
那么 
发 动机 在 抽 油 。 
如 果 要 通过 目标 导向 的 控制 体系 来 运行 这 个 知识 库 ， 那 么 只 要 像 图 8-5 所 示 的 那样 把 项 层 目 
标 《〈 问 题 在 X) 放 入 工作 内 存 。X 是 一 个 可 以 与 任何 短语 匹配 的 变量 ， 例如 “问题 在 电池 或 电 
缆 ”; 当 问 题 被 解决 时 ， 它 会 绑 定 在 解 上 。 
有 三 个 规则 〈 规 则 1、 规 则 2 和 规则 3) 和 工作 内 存 中 的 表达 式 亚 配 。 如 果 我 们 优先 考虑 最 
小 编号 的 规则 ， 那 么 规则 1 便 会 被 激发 。 这 使 X 被 绑 定 到 一 个 新 的 值 “火花 塞 ”上 ， 而 且 规则 1 
的 前 提 被 放 入 工作 内 存 ， 如 图 8-6 所 示 。 这 样 系统 便 选 择 了 “火花 塞 损坏 ”这 个 可 能 假设 。 也 可 
以 把 这 个 过 程 看 成 是 系统 选择 了 与 或 图 的 一 个 或 分 支 ( 见 第 3 章 )。 


和 甸 8 茧 灾 腹 问题 朱 政 疹 法 203 





注意 规则 1 有 两 个 前 提 ， 要 证 明 结 论 为 真 必须 使 这 两 个 前 提 都 被 满足 。 这 相当 于 搜索 图 中 的 


与 分 支 ， 即 把 问题 (分 析 “ 问 题 是 否 在 火花 
塞 ”) 分 解 为 两 个 子 问题 (分析 “发 动机 是 否 
在 抽 油 ”和 “发 动机 是 否 旋转 ” ) 。 这 样 便 激 
发 了 规则 4， 因 为 它 的 结论 与 “发 动机 在 抽 
油 ” 匹 配 ， 于 是 它 的 前 提 被 放 人 工作 内 存 ， 
如 图 8-7 所 示 。 

到 目前 为 止 ， 工 作 内 存 中 有 三 项 与 任 
何 规则 的 结论 都 不 匹配 。 这 种 情况 下 ， 我 
们 的 专家 系统 会 直接 向 用 户 询问 这 些 子 目 
标 。 如 果 用 户 确 认 这 三 项 都 为 真 ， 那么 系 
统 便 会 成 功 地 断定 这 辆 汽车 不 启动 的 原因 
是 火花 塞 坏 了 。 在 寻找 这 个 解 的 过 程 中 ， 
系统 搜索 了 图 8-8 所 示 的 与 或 图 的 最 左 
分 支 。 

当然 这 是 一 个 非常 简单 的 例子 。 不 仅 关 
于 汽车 的 知识 很 有 限 ， 而 且 忽 略 了 很 多 重要 
的 实现 要 素 。 规 则 是 用 口语 表示 的 ， 而 不 是 
用 形式 语言 。 当 找到 解 时 ， 真 正 的 专家 系统 
会 告诉 用 户 它 的 诊断 结果 (我们 的 系统 只 是 
简单 地 停 下 来 ) 。 另 外 ， 还 应 该 维护 足够 的 推 
理 过 程 信息 ， 以 允许 必要 的 回溯 。 在 我 们 的 
例子 中 ， 要 是 在 判断 火花 塞 故障 时 失败 了 ， 
那么 就 必须 先 回 到 最 顶层 ， 然 会 再 试验 规则 
2。 注 意 这 一 信息 是 隐 含 在 工作 内 存 的 子 目标 
排序 中 的 ， 参 见 图 8-7 和 图 8-8。 尽 管 这 个 例 
子 很 简单 ， 但 是 它 说 明了 基于 产生 式 系统 的 
搜索 方法 和 与 或 图 表示 在 基于 规则 的 专家 系 
统 中 的 重要 性 。 

前 面 我 们 曾经 强调 专家 系统 必须 具有 开 
放 性 、 易 修改 性 以 及 启发 性 。 产 生 式 系统 体 
系 结构 可 以 很 好 地 满足 所 有 这 些 要 求 。 以 易 
修改 性 为 例 ， 产 生 式 规 则 的 语法 独立 性 (每 
个 规则 是 一 个 可 以 独立 修改 的 知识 块 ) 可 以 
很 好 地 支持 这 一 特征 。 不 过 从 各 个 规则 的 含 
义 是 关联 的 这 个 意义 上 来 说 ， 语 义 约束 是 存 
在 的 。 所 以 在 编辑 和 修改 过 程 中 一 定 要 考虑 
各 规则 语义 的 一 致 性 。 下 面 我 们 讨论 解释 的 
生成 和 推理 的 控制 。 
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图 8-5 用 来 诊断 汽车 故障 的 产生 式 
系统 的 初始 状态 


Y 
产生 式 规则 


工作 内 存 


发 动机 在 抽 油 


发 动机 旋转 


问题 在 火花 塞 








图 8-6 图 8-5 中 的 产生 式 系统 在 规则 1 
被 激发 后 的 状态 
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图 8-7 规则 4 被 激发 后 的 状态 
注 : 注意 这 种 缩小 日 标的 方法 是 以 堆栈 为 基础 的 
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图 8-8 诊断 汽车 例子 中 搜索 的 与 或 图 
注 : 规则 4 的 结论 与 规则 1 的 第 一 个 前 提 匹 配 


8. 2. 2 目标 驱动 推理 中 的 解释 和 透明 性 


产生 式 系统 实现 了 图 搜索 。 图 8-1 中 的 解释 例 程 跟踪 图 搜索 的 踪迹 ， 并 用 这 些 跟踪 信息 来 回 
答 用 户 的 查询 。 产 生 式 规则 本 身 记 录 了 推理 过 程 的 每 一 步 。 
通常 ， 基 于 规则 的 专家 系统 要 回答 的 问题 有 两 类 : why 和 how。why 查询 发 生 在 程序 向 用 户 
询问 信息 时 ， 意 思 是 “你 为 什么 要 这 个 信息 ?”。 答 案 就 是 产生 式 系统 正在 试图 激发 的 当前 规则 。 
how 查询 对 应 于 “你 是 如 何 得 到 这 个 结果 的 ?”， 答 案 是 得 出 目标 结论 的 规则 序列 。 
假定 前 面 的 汽车 专家 系统 具有 解释 机 制 ， 并 假定 咨询 过 程 已 经 到 了 图 8-7 中 工作 内 存 所 示 的 
阶段 。 下 面 的 对 话 是 从 计算 机 向 用 户 询问 工作 内 存 中 的 目标 开始 的 。 用 户 反馈 用 黑体 来 表示 。 
油箱 中 有 油 吗 ? 
是 的 
化 油 器 中 有 油 吗 ? 
是 的 
发 动机 旋转 吗 ? 
为 什么 
这 里 用 户 输入 了 一 个 why 查询 ， 也 就 是 “你 为 什么 需要 知道 发 动机 是 否 旋 转 ?” 系 统 是 使 用 
当前 规则 的 字面 表示 来 回答 的 : 
已 经 确认 : 
1， 发 动机 在 抽 油 ， 
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所 以 ， 如 果 
2. 发 动机 旋转 ， 
那么 就 是 火花 塞 有 问题 。 
因为 用 户 对 前 两 个 问题 的 回答 都 是 肯定 的 ， 所 以 可 以 激发 规则 4， 这 确认 了 规则 1 的 前 提 。 
当 用 户 提出 why 查询 时 ， 系 统 正 在 努力 解决 规则 1 的 前 提 。 注 意 系 统 对 其 行为 的 解释 仅仅 是 把 当 
前 正在 考虑 的 规则 重新 表述 一 下 。 不 过 ， 这 已 经 对 程序 为 什么 要 知道 “发 动机 是 否 旋 转 ” 提 供 
了 足够 的 解释 ， 系 统 指 出 它 已 经 得 到 了 “发 动机 在 抽 油 ”这 个 结论 。 假 定 用户 又 问 : 
是 怎样 得 出 “发 动机 在 抽 油 ”这 个 结论 的 ? 
那么 系统 便 会 告诉 用 户 它 是 如 何 归 纳 出 “发 动机 在 抽 油 ”的 。 这 个 回答 就 是 得 出 这 个 结论 
的 推理 过 程 ， 只 要 从 目标 开始 沿 着 支持 它 的 规则 反 向 工作 就 可 以 了 : 
这 是 从 规则 4 得 出 的 : 
如 果 
油箱 中 有 油 ， 而 且 
化 油 器 中 有 油 
那么 
发 动机 在 抽 油 
油箱 中 有 油 是 用 户 给 出 的 
化 油 器 中 有 油 是 用 户 给 出 的 
可 见 ， 产 生 式 系统 体系 结构 为 解释 提供 了 关键 基础 。 控 制 循环 每 执行 一 次 都 选择 并 激发 一 
个 规则 。 在 每 次 循环 后 可 以 停止 程序 并 对 其 进行 观察 。 因 为 每 个 规则 表示 了 求解 问题 的 一 个 完 
整 知识 块 ， 所 以 当前 规则 为 解释 提供 了 背景 。 把 这 种 产生 式 系统 方法 和 更 传统 的 程序 结构 进行 
对 比 就 可 以 看 出 它 的 优势 : 如 果 在 中 间 执 行 过 程 中 停止 C 或 C + + 程序 ， 那 么 很 难 相信 刚才 的 说 
法 还 有 什么 意义 。 
总 而 言 之 ， 基 于 知识 系统 通过 显示 正 准 备 激发 的 当前 规则 来 回答 why 查询 ， 通 过 列 出 产生 目 
标 或 子 目 标的 推理 过 程 来 回答 how 查询 。 尽 管 这 种 机 制 在 概念 上 来 看 非常 简单 ， 但 是 它 表现 出 了 
强大 的 解释 能 力 ， 只 要 知识 库 是 按 逻 辑 方式 组 织 的 。Java、LISP 和 Prolog 这 些 辅助 资料 说 明了 如 
何 使 用 堆栈 和 证 明 树 来 实现 这 种 解释 。 
要 使 解释 表现 出 很 强 的 逻辑 性 ， 不 仅仅 要 求 可 以 在 知识 库 找到 正确 的 答案 ， 而 且 还 要 求 每 
个 规则 都 对 应 于 问题 求解 过 程 的 单一 逻辑 步 又。 如 果 知 识 库 把 几 个 步 又 合并 到 一 个 规则 中 ,或 
者 随意 地 拆 分 规则 ， 那 么 可 能 虽然 得 到 了 正确 的 答案 , 但 是 却 看 起 来 很 模糊 、 独 断 ， 或 和 how 或 
why 查询 没有 逻辑 对 应 性 。 这 不 仅 降低 了 用 户 对 系统 的 信任 度 ， 而 且 也 使 程序 难以 理解 和 修改 。 


8.2.3 利用 产生 式 系统 进行 数据 驱动 推理 


8.2. 1 节 介 绍 的 汽车 诊断 例子 演示 了 如 何 使 用 产生 式 系 统 来 实现 目标 驱动 搜索 。 搜 索 的 方式 
也 是 深度 优先 的 ， 因 为 它 沿 着 规则 库 中 的 一 个 子 目 标 搜索 完 后 才 搜 索 下 一 个 并 列 目标 。 不 过 , 正 
如 在 6.3 节 中 所 看 到 的 ， 产 生 式 系统 也 是 数据 驱动 推理 的 理想 体系 结构 。 例 6. 3. 1 演示 了 针对 8 
格 拼 图 游戏 问题 的 数据 驱动 搜索 过 程 ， 例 6. 3. 2 和 例 6. 3. 3 是 针对 骑士 周游 问题 的 。 在 这 些 例子 
中 ,我 们 都 是 通过 取 知识 库 中 发 现 的 第 一 个 规则 来 解决 冲突 的 ， 然 后 沿 着 这 个 规则 的 结果 搜索 
下 去 。 这 使 搜索 具有 深度 优先 的 味道 ， 不 过 没有 任何 机 制 ( 比如 回 洲 ) 来 处 理 搜索 空间 中 的 
“ 死 端 ”问题 。 

宽度 优先 搜索 在 数据 驱动 推理 中 更 加 常见 。 其 算法 非常 简单 : 就 按照 规则 库 中 的 顺序 把 工 
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作 内 存 中 的 内 容 和 规则 库 中 每 个 规则 的 条 件 进行 匹配 。 如 果 工 作 内 存 中 的 数据 支持 激发 某 个 规 
则 ， 那 么 便 把 其 结果 放 和 人 工作 内 存 ， 然 后 把 控制 移 向 下 一 个 规则 。 一 旦 已 经 考虑 过 了 所 有 规则 ， 
搜索 便 再 次 从 规则 集合 的 头 开始 。 

举例 来 说 ， 考 虑 汽车 诊断 的 例子 和 8. 2. 1 节 中 的 规则 。 如 果 构 成 规则 前 提 的 某 个 信息 不 是 其 
他 任何 规则 的 结论 ， 那 么 便 认为 这 个 信息 是 “可 询问 的 "。 例 如 ， 规 则 1 前 提 中 的 “发 动机 在 抽 
油 ” 就 不 是 “可 询问 的 "， 因 为 这 是 另 一 个 规则 (规则 4) 的 结论 。 

下 面 针 对 上 一 节 的 例子 介绍 一 下 宽度 优先 数据 驱动 搜索 ， 开 始 状态 和 图 8-5 类 似 ， 只 不 过 
工作 内 存 中 没有 任何 信息 ， 如 图 8-9 所 示 ， 然后 我 们 分 析 四 个 规则 的 前 提 以 发 现 “ 可 询问 的 ” 
的 信息 。“ 发 动机 在 抽 油 ”这 个 前 提 不 是 “可 询问 的 "， 所 以 控制 转向 规则 2。“ 发 动机 不 转 ” 
是 可 询问 的 。 假 定 对 这 个 问题 的 回答 是 假 ， 那么 “发 动机 旋转 ”被 放 人 工作 内 存 ， 如 图 8-10 
所 示 。 

因为 规则 2 的 两 个 与 前 提 中 的 第 一 个 为 假 ， 所 以 工作 内 存 加 产生 式 规则 
规则 2 失败 了 ， 于 是 系统 考虑 规则 3， 但 是 第 一 个 前 规则 1 
提 也 失败 了 。 在 规则 4， 两 个 前 提 都 是 “可 询问 的 ”。 
假定 对 这 两 个 询问 的 回答 都 是 肯定 的 ， 那 么 “油箱 
中 有 油 ” 和 “化 油 器 中 有 油 ” 便 会 被 放 人 工作 内 存 ， 规则 3 
并 得 到 结论 “发 动机 在 抽 油 ”。 规则 4 

到 目前 为 止 ， 系 统 已 经 考虑 过 所 有 规则 所 以 搜索 网 
返回 到 起 始 位 置 ， 准 备用 工作 内 存 中 新 的 内 容 第 二 次 。 ”图 8-9 用 产生 式 系统 进行 数据 驱动 

， 推理 时 的 初始 状态 
依次 考虑 规则 。 从 图 8-11 可 以 看 到 ， 工 作 内 存 与 规 
则 1 是 相 匹配 的 ， 因 此 它 的 结论 “问题 在 火花 塞 ”被 。 工作 内 存 产生 式 规则 
放 入 工作 内 存 。 在 这 个 例子 中 ， 不 再 有 其 他 匹配 的 规 
则 ， 因 此 问题 求解 过 程 结束 了 。 图 8-12 画 出 了 以 上 搜 
索 过 程 的 示意 图 ， 工 作 内 存 (WM) 的 内 容 对 应 于 图 
中 的 结 点 。 

对 上 面 例子 中 宽度 优先 搜索 策略 的 一 种 重要 改进 . 
就 是 所 谓 的 机 会 搜索 。 这 种 搜索 策略 很 简单 : 每 当 激 
发 规则 并 推断 出 新 的 信息 时 ， 便 把 控制 转移 到 以 新 信 ”图 8-10 在 规则 2 因 第 一 个 前 提 为 候 





规则 2 

















息 为 前 提 的 那些 规则 。 这 使 新 的 推断 信息 (搜索 不 会 而 失败 后 的 产生 式 系 统 
因 “ 可 询问 ”前 提 的 结果 而 改变 ) 成 为 寻找 下 一 个 工作 内 存 产生 式 规则 
要 激发 规则 的 控制 动力 。 之 所 以 称 其 为 机 会 搜索 是 mw 六 注 | [enl | 
因为 新 的 推断 信息 左右 了 搜索 的 方向 。 因 为 规则 排 
列 的 偶然 性 ， 刚 才 给 出 的 简单 例子 恰好 也 是 “机 会 “| 化 油 器 中 有 油 规则 2 
的 ”。 

下 面 对 数 据 驱动 系统 的 解释 性 和 透明 性 做 几 点 “| 冰箱 中 有 浓 规则 3 
评价 ， 并 以 此 总 结 本 节 的 内 容 。 第 一 ， 和 8. 2. 1 节 及 发 动机 旋转 规则 4 














8.2.2 节 的 目标 驱动 系统 相 比 ， 数 据 驱 动 推 理 的 搜索 “一 一 一 一 一 一 一 一 一 一 
不 那么 集中 。 导 致 这 一 点 的 原因 很 明显 : 在 目标 驱 ”图 8-11 在 考虑 规则 4 后 ， 数 据 驱动 的 产生 
动 系统 中 ， 推 理 就 是 追 索 某 个 特定 的 目标 ; 这 个 目 式 系统 开始 第 二 轮 扫描 规则 

标 被 分 解 为 支持 顶层 目标 的 子 目标 ， 而 且 子 目 标 还 

可 以 被 进一步 分 解 。 因 此 搜索 总 是 由 这 个 目标 和 子 目标 层次 来 导向 的 。 在 数据 驱动 系统 中 这 种 


需 8 莫 赤 郁 问题 准 颖 方法 207 





目标 面向 性 不 存在 了 。 相 反 ， 搜 索 的 移动 方向 仅 依赖 于 规则 的 排列 顺序 和 发 现 的 新 信息 。 结 果 ， 
搜索 的 过 程 往往 看 起 来 非常 散乱 、 不 集中 。 


第 一 轮 扫 描 规 则 

















规则 失败 规则 失败 规则 失败 规则 失败 


第 二 轮 扫 描 规 则 








因 没 有 进一步 匹配 的 
.| 如 图 8-11， 另 加 
WM: 问题 在 火花 塞 久 规则 而 停止 

规则 激发 


图 8-12 8.2.1 节 数 据 驱动 宽度 优先 搜索 规则 集 的 搜索 图 
注 : 结 点 是 通过 工作 内 存 (WM) 中 的 内 容 来 描述 的 


第 二 ， 这 也 是 第 一 点 所 直接 导致 的 结果 ， 不 论 是 搜索 的 哪个 阶段 ， 可 以 给 用 户 的 解释 都 是 非 
常 有 限 的 。 从 某 种 意义 上 来 说 ， 系 统 的 可 说 明 性 仅 限于 单个 的 规则 ， 因 为 当 用 户 询问 为 什么 需要 
某 个 信息 时 〈 即 8.2.2 节 中 所 说 的 why 查询 ) ， 系 统 只 能 给 出 正在 考虑 的 规则 。 不 能 做 出 进一步 
的 解释 ， 除 非 向 系统 〈 比 如 采用 机 会 搜索 策略 的 系统 ) 中 加 入 显 式 的 规则 跟踪 机 制 。 数 据 驱动 
搜索 的 散乱 性 使 得 难以 做 到 这 一 点 。 最 终 ， 当 找到 目标 后 ， 要 得 到 一 个 对 该 目标 的 完全 解释 也 是 
很 困难 的 。 或 许 惟一 的 方法 是 把 工作 内 存 中 的 内 容 或 激发 规则 的 列表 用 作 一 种 局 部 性 的 有 限 解 
释 。 但 是 ， 这 也 无 法 提供 像 日 标 驱动 推理 中 那样 的 集中 一 致 的 可 追 索性 。 


8.2.4 专家 系统 的 启发 和 控制 


因为 知识 库 和 推理 引擎 是 分 离 的 ， 而 且 推理 引擎 所 提供 的 控制 体制 是 固定 的 ， 所 以 程序 员 
控制 搜索 的 一 种 重要 方法 就 是 改变 知识 库 中 规则 的 结构 和 顺序 。 这 种 对 规则 集 的 微观 管理 提供 
了 一 种 非常 重要 的 机 会 ， 特 别 是 因为 专家 级 的 问题 求解 所 需 的 控制 策略 往往 是 针对 领域 的 而 且 
是 知识 密集 型 的 。 虽 然 一 个 形式 为 “如 果 p、q 和 r， 那 么 s” 的 规则 类 似 一 个 逻辑 表达 式 , 但 是 
它 也 可 以 被 解释 为 求解 问题 的 一 系列 过 程 和 步 又: “要 做 s， 先 要 做 p， 然 后 做 q， 然 后 再 做 1”。 
刚刚 给 出 的 8. 2 节 中 的 例子 隐 含 了 规则 和 前 提 排 序 的 作用 。 

这 种 解释 规则 的 过 程 方法 是 实践 中 使 用 知识 的 一 个 关键 策略 ,很 多 时 候 它 反映 了 人 类 专家 
的 求解 策略 。 例 如 ， 我 们 可 以 对 规则 的 前 提 进 行 排序 使 最 可 能 失败 的 或 最 易于 确认 的 排 在 最 前 
面 。 这 样 就 可 以 尽早 地 排除 无 关 的 规则 ( 因而 也 就 缩小 了 搜索 空间 )。 在 汽车 的 例子 中 ， 在 询问 
发 动机 是 否 旋转 之 前 首先 试 的 是 规则 1 以 判断 发 动机 是 否 抽 油 。 这 很 不 高 效 ， 因 为 在 试图 判断 发 
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动机 是 否 抽 油 时 涉及 了 另 一 个 规则 而 且 因 此 向 用 户 询问 了 两 个 问题 。 如 果 把 规则 1 的 两 个 前 提 疗 
倒 顺 序 ， 那 么 对 查询 “发 动机 是 否 旋 转 ” 的 否定 就 会 排除 这 个 规则 ， 从 而 也 就 不 需要 分 析 包 含 
条 件 ， 这 便 使 系统 更 高 效 。 

在 检查 发 动机 是 否 抽 油 之 前 判断 发 动机 是 否 旋 转 也 更 有 意义 ， 如 果 发 动机 不 旋转 了 ， 那 么 
它 是 否 抽 油 都 没关系 。 在 规则 4 中 ,要 求 用 户 在 检查 化 油 器 是 否 有 油 前 检查 油箱 。 因 为 在 这 种 情 
况 下 先 检查 更 简单 的 好 一 些 。 这 里 要 强调 的 一 点 是 ， 如 果 要 使 整个 系统 更 加 高 效 ， 那 么 必须 考虑 
各 种 因素 : 规则 顺序 、 前 提 的 组 织 、 检 验 的 成 本 、 回 答 检验 可 以 消除 的 搜索 量 、 大 多 数 实例 的 发 
生 方 式 ， 等 等 。 

因此 ， 规 则 顺序 的 规划 、 规 则 前 提 的 组 织 、 不 同 检验 的 成 本 通常 都 是 基本 的 启发 。 在 大 多 数 
基于 规则 的 专家 系统 中 ， 这 些 启发 反映 了 人 类 专家 所 采取 的 方法 ， 而 且 实 际 上 可 能 产生 错误 的 
结果 。 在 前 面 的 例子 中 ， 如 果 发 动机 在 抽 油 而 且 发 动机 旋转 ， 那 么 问题 可 能 在 分 电器 而 不 是 火 
花 塞 。 

数据 驱动 推理 为 推理 控制 带 来 了 一 些 额 外 的 问题 和 机 会 。 其 中 包括 高 层 的 启发 ， 比 如 6.3.3 
节 介绍 的 折射 、 最 新 性 (机 会 搜索 ) 和 特殊 性 。 领 域 针 对 性 更 强 的 方法 根据 求解 过 程 的 不 同 阶 
段 来 对 规则 集 分 组 。 例 如 ， 在 诊断 汽车 的 问题 中 ， 我 们 可 以 创建 4 个 相互 独立 的 阶段 : 1) 组 织 
条 件 ; 2) 数据 采集 ; 3) 数据 分 析 〈 被 诊断 的 汽车 可 能 有 多 个 故障 ) ; 4) 报告 结论 并 推荐 修理 
方法 。 

可 以 这 样 实现 这 种 分 阶段 的 问题 求解 方法 先 为 每 个 阶段 创建 一 个 描述 符 ， 然 后 把 这 个 描 
述 作为 第 一 个 前 提 放 人 属于 该 阶段 的 所 有 规则 中 。 举 例 来 说 ， 开 始 时 把 断言 “组 织 条 件 ” 放 人 
工作 内 存 。 如 果 工 作 内 存 中 没有 其 他 的 阶段 描述 符 ， 那 么 就 仅 有 前 提 中 包含 “组 织 条 件 ”的 规 
则 才 会 被 激发 。 当 然 ， 这 应 该 是 每 个 这 样 规则 的 第 一 个 前 提 。 我 们 可 以 这 样 转 到 下 一 个 阶段 : 让 
组 织 阶段 要 激发 的 最 后 一 个 规则 删除 现 阶段 是 “组 织 条 件 ” 的 事实 ， 并 断言 现 阶段 是 “数据 采 
集 ” 这 一 事实 。 数 据 采 集 阶段 的 所 有 规则 的 第 一 个 前 提 都 是 “如 果 阶 段 = 数据 采集 " 。 当 数据 采 
集 阶 段 完 成 时 ， 它 的 最 后 一 个 规则 将 收回 这 个 断言 ， 并 把 “数据 分 析 ” 这 个 事实 放 人 工作 内 存 
中 ， 目 的 是 仅 匹 配 那些 前 提 以 “如 果 阶 段 = 数据 分 析 ……” 开始 的 那些 规则 。 

在 截至 目前 的 讨论 中 ， 我 们 已 经 描述 了 穷 举 考虑 规则 库 的 产生 式 系统 的 行为 。 尽 管 这 样 做 
的 搜索 代价 很 高 ， 但 是 它 捕 获 了 产生 式 系统 的 预期 语义 。 不 过 ， 有 很 多 算法 可 以 通过 搜索 特别 有 
用 的 规则 来 优化 这 个 过 程 ， 例 如 RETE (Forgy1982) 。 本 质 上 讲 ，RETE 算法 把 规则 汇编 成 一 种 网 
络 结构 ， 这 样 系统 便 可 以 直接 通过 指向 规则 的 指针 来 把 规则 和 数据 进行 匹配 。 这 种 算法 大 大 加 
快 了 执行 速度 ， 特 别 是 对 比较 庞大 的 规则 集合 ， 同 时 也 保持 了 本 节 已 经 描述 的 语义 行为 。 

归纳 来 讲 ， 规 则 是 专家 系统 中 表示 知识 的 最 古老 方法 ,而 且 仍 然 是 建立 知识 密集 型 问题 求 
解 器 的 重要 技术 。 专 家 系统 的 规则 捕获 了 人 类 专家 在 实践 中 所 使 用 的 知识 ， 因 此 ， 规 则 往往 融合 
了 理论 知识 、 经 验 性 启发 以 及 处 理 古怪 实例 和 其 他 异常 情况 的 特殊 规则 。 很 多 情况 证 明 这 种 方 
法 是 有 效 的。 尽管 如 此 ， 强 启发 系统 可 能 因为 碰 到 任何 现 有 规则 都 不 适用 的 问题 ， 或 者 把 启发 规 
则 误 用 于 不 恰当 的 情况 而 失败 。 人 类 专家 不 会 受到 这 种 问题 的 困扰 ， 因 为 他 们 对 问题 域 的 理解 
更 加 深入 ， 这 使 得 他 们 可 以 智能 地 应 用 启发 规则 ， 或 者 在 新 的 情况 中 根据 “第 一 原则 ”来 推理 。 
基于 模型 的 方法 (8. 3. 1 节 介绍 ) 就 是 为 了 使 专家 系统 具有 这 种 能 力 和 灵活 性 而 做 的 一 种 努力 。 

根据 实例 学 习 的 能 力 是 知识 密集 型 问题 求解 器 要 模拟 的 另 一 项 人 类 技能 。 基 于 案例 的 推理 
程序 (8. 3.3 节 介 绍 ) 所 维护 的 知识 库 是 由 已 经 解决 问题 的 样 例 ( 即 案例 ) 组 成 的 。 当 面临 一 
个 新 间 题 时 ， 这 种 推理 程序 从 存储 的 案例 中 选择 和 当前 问题 类 似 的 案例 ， 然 后 把 它 的 求解 策略 
应 用 到 这 个 问题 。 法 律 中 用 以 前 案例 作 论据 便 是 基于 案例 推理 的 最 常见 实例 。 
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8. 3 ”基于 模型 系统 、 基 于 案例 系统 和 混合 系统 


8. 3. 1 基于 模型 推理 简介 


人 类 的 专业 技能 是 相当 复杂 的 ， 它 融合 了 理论 知识 、 以 经 验 为 基础 的 问题 求解 启发 、 过 去 的 
问题 实例 和 解 、 感 知 和 解释 技巧 以 及 我 们 尚未 理解 因此 仅 能 称 其 为 直觉 的 其 他 能 力 。 通 过 多 年 
的 经 历 ， 人 类 专家 建立 了 非常 强大 的 规则 ， 可 以 处 理 通 常 遇 到 的 各 种 情况 。 这 些 规则 通常 是 被 高 
度 “ 编 译 ” 的 ， 其 形式 把 可 观察 的 符号 与 最 终 诊 断 直 接 关联 起 来 ， 隐 藏 了 更 深层 的 解释 基础 。 

举例 来 说 ，MYCIN 专家 系统 可 以 根据 像 “ 头 痛 ”、“ 恶 心 ”或 “发 烧 ” 这 样 的 可 观察 证 状 做 
出 诊断 。 尽 管 这 些 参数 表明 了 患者 得 了 某 种 疾病 ， 但 是 把 这 些 症 状 与 诊断 联系 起 来 的 规则 并 没 
有 反映 任何 更 深层 的 生理 角度 解释 。MYCIN 的 规则 指出 诊断 结果 是 传染 病 , 但 是 并 未 解释 致 病 
的 原因 。 更 深入 的 解释 方法 应 该 检查 是 否 存 在 传播 媒介 ， 注 意 是 否 导致 细胞 膜 感 染 ; 检查 颅 内 压 
力 ; 然后 推断 出 这 些 检 验 结果 与 观察 到 的 头痛 、 体 温 升 高 和 恶心 症状 的 因果 联系 。 

下 面 举 一 个 分 析 半 导体 故障 的 基于 规则 专家 系统 的 例子 ,该 系统 根据 以 下 症状 诊断 电路 故 
障 : 器 件 上 的 污点 (可 能 表明 这 个 部 件 已 经 烧 掉 了 )、 类 似 设备 的 故障 历史 或 者 用 电子 仪表 检查 
器 件 的 内 部 特征 。 然 而 ， 把 观察 情况 和 诊断 结果 联系 起 来 的 规则 失去 了 深入 分 析 设 备 结构 和 功 
能 的 好 处 。 更 鲁 棱 的 、 可 深入 解释 的 方法 是 从 这 个 电路 物理 结构 的 详细 模型 以 及 描述 每 个 部 件 
和 部 件 间 预 期 行为 的 公式 着 手 。 它 把 诊断 建立 在 来 自 设备 不 同位 置 的 数字 读数 上 ， 使 用 这 些 数 
据 和 它 的 电路 模型 来 判断 确切 的 故障 点 。 

因为 第 一 代 专家 系统 依赖 于 从 人 类 专家 那里 获得 的 启发 性 规则 ， 所 以 具有 很 多 局 限 性 
(Claney 1985) 。 如 果 问 题 实 例 与 系统 的 启发 不 匹配 ， 那 么 即使 通过 理论 分 析 可 以 找到 解 ， 这 个 
解 也 是 失败 的 。 很 多 时 候 ， 专 家 系统 把 启发 应 用 于 不 适当 的 情况 ， 例 如 ， 较 深入 地 理解 问题 可 能 
预示 着 一 个 不 同 的 过 程 。 这 便 是 基于 模型 方法 所 要 解决 的 不 足 。 如 果 一 个 基于 知识 的 推理 程序 
把 分 析 直 接 建立 在 物理 系统 的 特征 和 功能 之 上 ， 那 么 就 称 其 为 基于 模型 系统 。 基 于 模型 的 推理 
程序 在 设计 和 使 用 中 都 创建 一 个 软件 来 模拟 〈 经 常 被 称 为 “定性 ") 要 被 理 解 的 或 修理 对 象 的 功 
能 (当然 ， 还 有 其 他 类 型 的 基于 模型 系统 ， 特 别 是 第 9 章 要 介绍 的 基于 逻辑 的 和 随机 的 基于 模 
型 系统 )。 

最 早 的 基于 模型 推理 程序 出 现在 20 世纪 70 年 代 中 期 ，80 年 代 后 逐渐 成 熟 《Davis and Ham- 
scher 1992) 。 值 得 注意 的 有 趣 的 一 点 是 ， 最 早 的 一 些 研究 是 出 于 教学 目的 而 创建 各 种 物理 设备 
(比如 电子 电路 ) 的 软件 模型 ( deKleer 1976 ，Brown et al_ 1982) 。 在 这 些 早期 的 教学 系统 中 ， 设 
备 或 电路 的 特征 说 明 是 以 规则 集 ( 例 如 基 尔 霍 夫 定 律 和 欧姆 定律 ) 反映 的 。 这 些 教学 系统 既 检 
验 了 学 生 关于 设备 和 电路 的 知识 ， 又 向 学 生 传授 了 他 们 可 能 忽视 的 知识 。 规 则 既 表 示 了 硬件 的 
功能 ， 同 时 又 是 向 学 生 传输 这 种 知识 的 媒介 。 

基于 模型 推理 程序 从 这 些 早期 的 教学 系统 (其 任务 既是 对 系统 的 功能 建 模 又 是 教授 这 些 功 
能 ) 逐步 转向 查找 故障 的 系统 。 在 查找 物理 系统 中 的 故障 时 ， 模 型 会 产生 一 系列 预期 的 行为 ， 
然后 通过 分 析 预 期 行为 和 观察 到 的 行为 之 间 的 差异 来 发 现 故障 。 基 于 模型 系统 会 告诉 用 户 : 期 
望 行为 是 什么 、 观 察 情况 与 期 望 情况 的 差异 以 及 系统 是 如 何 根据 这 些 差异 推断 故障 的 。 

定性 的 基于 模型 推理 包括 : 

1) 对 设备 中 每 个 组 件 的 描述 。 这 些 描述 可 以 模拟 组 件 的 行为 。 

2) 对 设备 内 部 结构 的 描述 。 这 些 描 述 通常 表示 出 各 个 部 件 以 及 它们 的 互 连 方式 ， 应 该 具有 
模拟 部 件 间 相互 作用 的 能 力 。 所 需 内 部 结构 知识 的 程度 依赖 于 应 用 的 深度 和 预期 诊断 的 层次 。 
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3) 诊断 特定 问题 时 需要 观察 设备 的 实际 工作 情况 ， 通 常 是 输入 和 输出 测量 值 。 输 入 输出 测 
量 是 最 容易 获得 的 ， 但 在 实际 过 程 中 ， 也 可 能 还 需要 测量 其 他 指标 。 

接 下 来 的 任务 就 是 根据 观察 到 的 行为 判断 哪个 部 件 可 能 已 经 出 现 了 故障 。 这 需要 有 额外 的 
规则 来 描述 不 同 部 件 及 其 互 连 的 已 知 故障 模式 。 推 理 程序 必须 找到 可 以 解释 观察 到 的 行为 的 最 
可 能 故障 。 

可 以 使 用 多 种 数据 结构 来 表示 模型 中 的 因果 和 结构 化 信息 。 许 多 基于 模型 程序 设计 者 使 用 
规则 来 反映 设备 的 因果 关系 和 功能 。 规 则 也 可 能 用 于 反映 部 件 之 间 的 关系 。 面 向 对 象 系统 也 是 
一 种 反应 设备 和 部 件 结构 的 出 色 工具 ， 它 用 对 象 槽 来 表示 设备 或 部 件 的 状态 ， 用 对 象 或 类 方法 
来 表示 其 功能 。 

为 了 更 具体 地 了 解 模型 的 设计 和 评估 ， 下 面 考虑 几 个 分 析 设备 和 电路 的 例子 (摘自 Davis 
and Hamscher 1992) 。 我 们 用 一 系列 表达 式 来 表示 设备 行为 ， 这 些 表达 式 捕捉 了 设备 终端 值 之 间 
的 关系 。 对 于 图 8-13 所 示 的 加 法 器 来 说 ， 将 有 三 个 表达 式 : 

如 果 我 们 知道 A 和 B 的 值 ， 那 么 C 的 值 是 A+B ( 实 线 )。 

如 果 我 们 知道 C 和 A 的 值 ， 那 么 B 的 值 是 C -A《〈 虚 划 线 ) 。 

如 果 我 们 知道 C 和 B 的 值 ， 那 么 A 的 值 是 C-B ( 虚 点 线 ) 。 

并 非 一 定 要 使 用 代数 形式 来 表示 这 些 关 系 。 也 可 以 使 用 关系 数组 或 者 使 用 LISP 函数 来 表示 
这 些 约束 ， 效 果 也 完全 等 价 。 我 们 的 目标 就 是 表示 出 加 法 器 功能 这 个 知识 。 

再 举 一 个 例子 ， 考 虑 如 图 8-14 所 示 的 三 个 加 法 器 和 两 个 减法 器 连接 成 的 电路 。 在 这 个 例子 
中 输入 值 是 由 A ~E 点 给 出 的 ， 输 出 值 是 由 F 和 CG 点 给 出 的 。 期 望 输出 值 是 用 ( ) 表示 的 ， 实 
际 输 出 值 是 用 [ ] 表示 的 。 我 们 的 任务 是 判断 造成 差异 的 故障 在 哪里 。 在 下 点 存在 问题 ,期望 
值 是 12， 而 得 到 的 值 是 10。 因 此 我 们 需要 检查 这 一 点 的 依赖 性 ， 它 是 ADD-1 的 函数 ，ADD-1 又 
依赖 于 MULT-1 和 MULT-2。 这 三 个 设备 中 一 定 有 一 个 出 了 故障 ， 因 此 有 三 种 可 能 需要 考虑 : 加 
法 器 的 行为 有 问题 ; 加 法 器 的 两 个 输入 之 一 不 正确 ; 问题 出 在 这 个 电路 的 更 深 处 。 


ER 
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图 8-13 ”加 法 器 的 行为 描述 图 8-14 利用 信息 流动 的 方向 
[摘自 Davis and Hamscher (1992)] [摘自 Davis and Hamscher (1988) ] 
不 妨 从 下 点 的 结果 (10) 开始 推理 ， 并 假定 ADD -1 以 及 它 的 输入 X (6) 的 行为 是 正确 
的 ， 那么 ADD-1 的 输入 YY 的 值 必须 是 4。 但 这 与 MULT-2 以 及 输入 B 和 D 的 正确 行为 有 冲突 。 我 
们 已 经 观察 到 这 些 输入 而 且 知 道 它们 是 正确 的 ， 所 以 MULT-2 一 定 有 故障 。 如 果 并 行 推论 ， 那 么 
第 二 个 假设 是 ADD-1 是 正确 的 ，MULT-1 是 有 问题 的 。 
继续 我 们 的 推理 ， 如 果 ADD-1 的 第 一 个 输入 X 是 正确 的 而 且 ADD-1 本 身 是 正确 的 ， 那么 第 
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二 个 输入 YY 一定 是 4。 如 果 它 是 4， 那 么 G 就 是 10 而 不 是 12， 所 以 MULT-2 的 输出 一 定 是 6 而 且 
是 正确 的 。 于 是 剩 下 的 假设 就 是 MULT-1 或 ADD-1 有 故障 ， 可 以 通过 进一步 检验 来 约束 这 些 
设备 。 

在 对 图 8-14 所 示 的 情况 进行 推理 时 ， 采取 了 三 个 步 又 : 

1) 假设 生成 :对 于 给 定 的 故障 ， 推 测 设备 的 哪些 部 件 导致 了 这 个 故障 。 

2) 假设 检验 : 对 于 确定 的 可 能 故障 部 件 ， 判 断 哪个 可 以 解释 已 经 观察 到 的 行为 。 

3) 假设 判别 : 当 有 多 个 假设 通过 了 检验 阶段 时 《就 像 图 8- 14 中 发 生 的 情况 )， 我们 必须 决 
定 怎样 继续 搜集 信息 以 进一步 搜索 故障 。 

最 后 ， 我 们 应 该 注意 到 在 图 8-14 的 例子 中 ， 我 们 是 假定 了 仅 有 一 个 设备 出 故障 。 实 际 情况 
并 不 这 么 简单 ， 不 过 单一 故障 假定 是 有 价值 的 ， 而 且 它 在 很 多 时 候 是 正确 的 、 具 有 启发 意义 的 。 

因为 定性 的 基于 模型 技术 是 建立 在 对 目标 设备 的 理论 理解 基础 上 的 ， 所 以 它 弥 补 了 更 依赖 
启发 方法 的 很 多 不 足 。 基 于 模型 方法 不 是 根据 观察 到 的 现象 直接 推理 因果 解释 ， 而 是 尽 可 能 在 
因果 关系 或 功能 层 上 表示 设备 及 设备 的 配置 。 程 序 代码 既 反 映 了 设备 的 功能 ， 又 反映 了 设备 在 
系统 内 的 依赖 性 。 不 过 ， 这 种 对 功能 显 式 建 模 方法 的 不 足 是 对 知识 获取 阶段 的 要 求 非常 高 ;而 且 
会 导致 程序 比较 大 、 策 重 和 速度 慢 。 因 为 启发 式 方法 把 典型 的 案例 “编译 ”成 单一 的 规则 ， 所 
以 很 多 时 候 只 要 系统 的 其 他 约束 恰当 ， 启 发 方法 就 会 更 加 高 效 。 

不 过 这 种 方法 还 存在 更 深层 的 问题 。 和 基于 规则 推理 一 样 ， 一 个 系统 的 模型 仅仅 是 个 模型 。 
它 毕竟 是 对 系统 的 一 种 抽象 〈 详 细 到 某 一 层次 ) ， 因 此 它 可 能 是 不 正确 的 。 就 拿 图 8-14 中 的 输入 
导线 来 说 ， 在 我 们 的 讨论 中 ， 我 们 认为 这 些 值 是 给 定 的 、 正 确 的 。 我 们 没有 分 析 这 些 导 线 本 身 的 
状态 以 及 导线 另 一 端 和 乘法 器 连接 的 情况 。 如 果 导 线 短 了 或 者 和 乘法 器 的 连接 有 问题 怎么 办 呢 ? 
如 果 用 户 没有 发 现 这 个 连接 问题 ， 那 么 模型 就 和 实际 设备 不 匹配 了 。 

所 有 模型 都 尽 可 能 描述 理想 的 情况 ， 即 期 望 系统 做 什么 ， 但 系统 未 必 确 实 这 么 做 。“ 桥 接 ” 
故障 是 指 系统 连接 点 处 的 两 个 导线 或 两 个 设备 间 意 外 地 连接 了 ， 就 像 一 个 有 问题 的 焊 点 把 两 根 
不 该 连接 的 导线 连 起 来 一 样 。 大 多 数 基 于 模型 推理 系统 难以 推测 桥接 故障 ， 因 为 用 来 判断 异常 
的 搜索 方法 和 模型 使 用 的 假定 是 预先 设置 的 。 桥 接 故 障 相 当 于 在 原始 设计 之 外 出 现 了 “新 的 ” 
导线 。 因 此 ， 在 基于 模型 方法 中 存在 一 个 隐 含 的 “封闭 世界 假定 ”( 见 9.1 节 ): 假定 模型 的 结 
构 描 述 是 完整 的 ， 不 存在 不 属于 模型 中 的 事物 。 

尽管 存在 这 些 不 足 ， 基 于 模型 推理 仍 是 一 种 重要 的 知识 工程 工具 的 补充 。 研 究 者 们 一 直 在 
探索 各 种 诊断 方法 : 不 仅 考 虑 人 类 专家 是 如 何 做 到 那么 高 效 的 ， 而且 还 考虑 如 何 才 能 在 机 器 上 
实现 更 好 的 算法 (Stem and Luger 1997，Pless et al，2006 ) 。 


8. 3.2 ”基于 模型 推理 : 来 自 NASA 的 例子 


NASA (美国 航空 航天 局 ) 为 了 支持 其 太空 计划 ， 开 发 了 一 系列 智能 太空 探测 器 用 来 自动 探 
索 太 阳 系 (Williams and Nayak 1996a，Bermard et al 1998 ) 。 这 一 努力 是 从 1997 年 为 第 一 个 探测 
器 设计 软件 开始 的 ，1998 年 发 射 了 太空 1 号 。 为 了 在 苛刻 的 太空 旅行 条 件 下 能 够 成 功 飞行 多 年 ， 
飞船 必须 能 够 对 故障 做 出 反应 ， 迅 速 地 重新 配置 好 控制 体制 ， 并 规划 在 以 后 的 飞行 中 避免 这 些 
故障 再 次 发 生 。 为 了 以 可 接受 的 代价 快速 完成 重新 配置 ， 系 统 必 须 能 够 从 每 一 类 模块 中 选取 一 
个 ， 并 迅速 整合 到 一 起 自动 生成 飞行 软件 。NASA 预料 到 潜在 的 故障 现场 和 可 能 的 反应 数 将 过 于 
庞大 ， 以 至 于 在 飞行 前 枚 举 出 所 有 偶然 事故 是 不 可 能 的 。 因 此 ， 探 测 器 必须 自动 全 盘 考虑 各 种 重 
新 配置 选项 的 所 有 后 果 。 

Livingstone (Williams and Nayak 1996b) 是 为 基于 模型 的 自 配 置 (self - configuring) 自动 反 


272 名 三 记分 评 燃 人知 能 : 47 央 的 赤 战 








应 系统 实现 的 一 个 内 核 。Livingstone 所 用 的 基于 模型 推理 表示 语言 是 命题 演算 ， 是 对 第 2 章 介 绍 
的 一 阶 谓词 演算 的 发 展 ， 也 是 用 在 基于 模型 诊断 中 的 传统 表示 语言 。Williams 和 Nayak 感到 ， 根 
据 他 们 以 前 建立 基于 冲突 的 命题 逻辑 快速 诊断 算法 的 经 验 (de Kleer and Williams 1989) ， 开 发 出 
可 以 在 感知 /响应 循环 中 进行 演绎 推理 的 快速 反应 系统 是 可 能 的 。 

人 们 对 基于 模型 推理 的 一 种 长 期 观点 一 直 是 使 用 一 个 单一 的 中 央 模 型 来 支持 不 同 的 工程 任 
务 。 对 基于 模型 自动 系统 来 说 这 意味 着 要 使 用 单一 模型 来 支持 多 种 多 样 的 执行 任务 。 包 括 跟 踪 
开发 计划 《〈 见 8.4 节 )、 确 认 硬 件 模式 、 重 新 配置 硬件 、 探 测 异常 、 故 障 恢复 。Livingstone 利用 
单一 模型 和 一 套 单一 核心 算法 来 自动 化 这 些 任 务 ， 因 此 为 基于 模型 问题 求解 器 的 设计 方法 的 形 
成 做 出 了 重要 贡献 。 

图 8-15 是 Cassini 太空 探测 器 主 引擎 的 简化 示意 图 ，Cassini 是 迄今 为 止 建立 的 最 复杂 的 探测 
器 之 一 。 这 个 引擎 是 由 一 个 氨 箱 、 一 个 油箱 、 一 个 氧化 剂 箱 、 一 对 主 引擎 、 多 个 调节 器 、 多 个 自 
锁 闪 、 多 个 热 闪 和 导管 组 成 的 。 氨 箱 为 两 个 推进 箱 加 压 ， 同 时 调节 器 动作 将 很 高 的 氨 压 降低 到 较 
低 的 工作 压力 。 当 通 往 主 引 擎 的 推进 路 径 打开 时 立 门 图 标 是 空心 的 )， 被 加 压 的 箱 体 将 油 和 氧 
化 剂 压 人 主 引擎 ， 并 在 那里 混合 、 自 燃 ， 从 而 产生 推力 。 热 阀 仅 能 改变 状态 一 次 ， 要么 从 打开 到 
关闭 ， 要 么 是 相反 情况 。 其 功能 是 把 主 引 擎 子 系统 的 各 个 部 分 隔离 开 ， 即 永久 的 隔离 故障 部 件 。 
自 锁 阀 是 利用 立 阮 动 器 (图 8-15 中 未 画 出 ) 和 感知 主 引 擎 产生 推力 的 加 速 计 (Acc) 来 控制 的 。 





图 8-15 Livingstone 推进 系统 的 简化 示意 图 
[摘自 Williams and Nayak (1996b)] 


根据 图 8-15 所 示 的 结构 布局 ， 可 以 使 用 多 种 不 同 的 配置 来 实现 产生 推力 这 一 顶层 目标 : 可 
以 通过 两 个 主 引擎 中 的 任 一 个 来 产生 推力 ， 而 且 有 很 多 打开 通 往 主 引擎 路 径 的 方式 。 举 例 来 说 ， 
可 以 通过 打开 通 往 左 侧 引 擎 的 自 锁 阐 来 产生 推力 ， 或 者 通过 引发 一 对 热 阀 并 打开 一 系列 通 往 右 
侧 主 引擎 的 自 锁 冰 。 还 有 一 些 其 他 的 配置 方法 ， 对 应 于 不 同 的 热 阀 引发 组 合 。 不 同 的 配置 具有 不 
同 的 特征 ， 因 为 热 阀 引发 是 不 可 恢复 的 动作 ， 而 且 引 发 热 阀 需 要 的 力量 比 开关 自 锁 阀 要 大 得 多 。 
假定 主 引 擎 子 系统 已 经 被 配置 为 使 用 左 侧 的 主 引 擎 来 提供 推力 ， 即 通 往 它 的 自 锁 阀 是 打开 
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的 。 举 例 来 说 ， 如 果 这 个 主 引擎 因为 过 热 出 故障 了 ， 并 因此 无 法 提供 必需 的 推力 了 。 为 了 保证 在 
这 种 情况 下 仍然 可 以 提供 所 需 的 推力 ， 探 测 器 必须 被 切换 到 -一 种 新 的 配置 ， 使 用 右 侧 的 主 引 敬 
来 提供 动力 。 理 想 情况 是 通过 引发 通 向 右 引 警 的 两 个 热 阔 并 打开 相继 的 自 锁 阀 来 实现 这 个 目标 ， 
而 不 要 引发 额外 的 热 阀 。 

配置 管理 程序 (configuration manager) 不 断 努 力 选取 最 佳 的 配置 ， 使 飞船 以 最 低 的 开销 实现 
不 断 变化 的 顶层 目标 。 当 飞船 因为 故障 偏离 选 定 的 配置 时 ， 管 理 程序 会 分 析 感知 器 数据 来 识别 
当前 的 飞船 配置 ， 并 把 飞船 转移 到 一 种 仍然 可 以 实现 预期 配置 目标 的 新 配置 。 配 置 管理 程序 是 
一 个 离散 的 控制 系统 ， 它 保证 了 飞船 配置 总 是 可 以 达到 配置 目标 所 定义 的 指标 。8. 4.4 节 将 介绍 
支持 配置 管理 程序 的 规划 算法 。 . 

要 对 一 个 系统 的 配置 (和 自动 重新 配置 ) 进行 推理 需要 建立 以 下 概念 : 运行 和 故障 状态 、 
可 修复 故障 和 配置 变化 。NASA 把 这 些 概念 表示 为 状态 空间 图 : 可 修复 故障 是 故障 状态 和 正常 状 
态 之 间 的 过 渡 ; 配置 改变 是 正常 状态 之 间 的 变化 ， 故 障 是 正常 状态 到 故障 状态 的 过 渡 。 

Williams 和 Nayak (1997) 把 自动 系统 看 成 是 配置 管理 程序 和 顶层 规划 程序 的 组 合 。 规 划 程 
序 ( 详 见 8.4 节 ) 产生 一 系列 硬件 配置 目标 。 配 置 管理 程序 使 应 用 领域 的 过 渡 系 统 (这 里 是 飞 
船 的 推进 系统 ) 按照 要 求 的 轨迹 运行 。 因 此 ， 配 置 管理 是 通过 感知 并 控制 过 渡 系 统 的 状态 来 实 
现 的 。 

基于 模型 的 配置 管理 程序 就 是 使 用 一 个 过 渡 系 统 的 规范 来 计算 理想 控制 值 序列 的 配置 管理 
程序 。 在 图 8-15 的 例子 中 ， 对 每 个 硬件 部 件 用 一 个 过 渡 系 统 组 件 建 模 。 通 信 组 件 (图 中 是 用 导 
线 〈 连 线 ) 表示 的 ) 是 用 对 应 过 渡 系 统 组 件 之 间 的 共享 变量 来 建 模 的 。 

配置 管理 程序 利用 这 个 模型 来 推断 当前 状态 并 选择 
满足 配置 目标 的 最 佳 控 制 动 作 。 而 不 是 使 用 简单 的 尝试 
然后 再 纠正 误差 ， 这 在 一 旦 出 错 便 会 导致 灾难 的 情况 下 
是 至 关 重 要 的 。 基 于 模型 的 配置 管理 程序 用 两 个 步骤 来 
决定 理想 的 控制 序列 :模式 估计 和 模式 重 配置 (图 8-16 
中 的 ME 和 MR) 。ME 不 断 产生 与 过 渡 模 型 、 系 统 控 制 二 | 
序列 和 感知 到 的 值 相 一 致 的 所 有 系统 轨 线 。MR 利用 过 
渡 模 型 和 ME 产生 的 轨 线 来 决定 控制 值 使 所 有 预测 出 的 系统 十 
轨 线 实现 下 一 状态 的 配置 目标 。ME 和 MR 都 是 可 响应 
的 。ME 可 以 根据 以 前 状态 的 知识 和 观察 到 的 当前 状态 。 图 8-16 基于 模型 的 配置 管理 系统 
情况 推断 当前 状态 。MR 仅 考 虑 可 以 实现 下 一 状态 内 配 。 【 较 自 Wiliams and Nayak (1996b) ] 
置 目标 的 动作 。 

下 一 节 将 考虑 基于 案例 推理 ， 通 过 这 种 知识 密集 型 技术 我 们 可 以 复 用 过 去 的 经 历来 处 理 问 
题 域 中 的 新 情况 。 在 8. 4 节 中 将 讨论 规划 ， 并 回 过 头 来 讨论 NASA 控制 的 例子 。 


8. 3.3 基于 案例 推理 介绍 


启发 式 规 则 和 理论 模型 是 人 类 专家 用 来 求解 问题 的 两 种 信息 。 专 家 们 所 使 用 的 另 一 种 强大 
策略 是 根据 案例 推理 ， 案 例 即 过 去 问题 及 其 解 的 样 例 。 基 于 案例 推理 (case-based reasoning ， 
CBR) 使 用 一 个 显 式 的 问题 解 的 数据 库 来 处 理 新 的 问题 求解 情况 。 这 些 解 可 能 是 通过 知识 工程 过 
程 从 人 类 专家 那里 搜集 的 ， 也 可 能 是 以 前 基于 搜索 方法 成 功 或 失败 的 结果 。 人 举例 来 说 ， 医 疗 训 绑 
不 能 只 依赖 解剖 学 、 心 理学 和 疾病 的 理论 模型 ， 很 大 程度 上 还 要 靠 病 例 史 和 医师 在 治疗 其 他 患 
者 时 积累 的 经 验 。CASEY ( Koton 1988a，b) 和 PROTOS (Bareiss et al. 1988 ) 是 在 医疗 领域 应 用 
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基于 案例 推理 的 两 个 例子 。 

律师 选择 与 其 当事人 情况 类 似 而 且 可 以 支持 有 利 判 决 的 过 去 法 律 案例 来 说 服 法庭 这 些 相 似 
性 足以 说 明 应 该 采取 相似 的 判决 。 尽管 一 般 法 律 都 是 通过 民主 过 程 制定 的 ， 但 是 其 解释 通常 都 
是 建立 在 司法 判例 基础 上 的 。 一 项 法 律 在 以 前 的 某 个 情况 中 是 如 何 解释 的 对 该 法 律 的 当前 解释 
是 至 关 重 要 的 。 因 此 ， 法 律 推理 的 一 个 重要 部 分 就 是 根据 法 律 判例 判决 某 个 特定 案例 。Rissland 
(1983) 以 及 Rissland and Ashley (1987) 已 经 设计 出 了 基于 案例 推理 程序 来 支持 法 律 辩论 。 

计算 机 程序 师 经 常 修改 旧 的 程序 使 其 适合 新 的 具有 相似 结构 的 情况 ， 从 而 实现 代码 的 复 用 。 
建筑 师 根据 他 们 关于 以 前 建造 的 具有 感官 美 而 且 实 用 的 建筑 的 知识 来 设计 新 的 建筑 。 历 史学 家 
使 用 过 去 的 故事 来 帮助 政治 家 、 官 员 和 市 民 理 解 过 去 的 事件 和 计划 未 来 。 根 据 案例 推理 的 能 力 
是 人 类 智能 的 一 个 主要 部 分 。 

其 他 明显 使 用 案例 推理 的 领域 包括 设计 (一 个 成 功 作品 的 某 些 方面 可 能 也 适合 某 个 新 的 情 
况 ) 和 诊断 (过 去 发 生 的 故障 可 能 再 次 发 生 ) 。 硬 件 诊断 是 这 方面 的 一 个 很 好 例子 。 这 一 领域 的 
专家 除了 使 用 广泛 的 电子 和 机 械 系统 理论 知识 外 ， 还 使 用 过 去 诊断 中 的 成 功 或 失败 经 验 来 处 理 
当前 问题 。CBR 已 经 成 为 很 多 硬件 诊断 系统 的 一 个 重要 组 成 部 分 ， 包括 在 地 球 轨道 卫星 中 维护 
信和 号 源 和 电池 (Skinner and Luger 1992) 以 及 对 半导体 分 立 部 件 进行 故障 分 析 (Stern and Luger 
1997 ) 。 

CBR 为 建立 专家 系统 提供 了 很 多 优势 。 如 果 我 们 记录 下 人 类 专家 对 很 多 问题 的 解 ， 并 让 基 
于 案例 推理 程序 选择 合适 的 案例 并 据 此 推理 ， 那 么 知识 获取 的 过 程 会 大 大 简化 。 这 便 使 知识 工 
程 师 省 去 了 根据 专家 样 例 建 立 通用 规则 的 麻烦 ， 而 推理 程序 会 通过 把 规则 应 用 到 新 情况 的 过 程 
自动 泛 化 规则 。 

基于 案例 方法 还 可 以 使 专家 系统 具有 从 其 经 历 中 学 习 的 能 力 。 在 找到 了 一 个 基于 搜索 的 解 
后 ,系统 可 以 把 这 个 解 保存 起 来 ,这样 当下 次 再 有 类 似 情况 发 生 时 便 不 必 再 次 搜索 了 。 在 案例 库 
信息 中 保留 以 前 探索 解 的 成 功 或 失败 结果 也 是 非常 重要 的 ; 因此 ，CBR 提供 了 一 种 强大 的 学 习 
模型 。 这 方面 的 一 个 早期 例子 是 Samuel (1959 ，4. 1 1 节 ) 的 西洋 跳棋 程序 ， 在 这 个 程序 中 ， 通 
过 搜索 发 现 的 棋盘 布局 ( 即 经 历 ) 被 保留 起 来 ， 以 预防 这 种 布局 在 以 后 的 博弈 中 再 次 发 生 。 

基于 案例 推理 程序 共享 一 种 共同 的 结构 。 对 于 每 个 新 的 问题 ， 它 们 采取 以 下 行动 : 

1) 从 内 存 中 检索 恰当 的 案例 。 如 果 一 个 案例 的 解 可 以 被 成 功 地 应 用 到 新 的 情况 ， 那 么 这 个 
案例 便 是 恰当 的 。 因 为 推理 程序 不 可 能 预先 知道 这 一 情况 ， 所 以 它们 通常 使 用 启发 来 选取 类 似 
于 问题 实例 的 案例 。 不 论 是 人 类 还 是 人 工 智 能 程序 都 是 基于 一 些 共同 的 特征 来 判断 相似 性 : 例 
如 ， 如 果 两 个 患者 的 症状 和 病史 具有 很 多 共同 特征 ， 那 么 他 们 就 有 很 大 的 可 能 患 有 同一 种 疾病 
而 且 会 对 同一 种 治疗 方法 感觉 有 效 。 高 效 的 案例 检索 还 需要 对 案例 存储 方式 进行 组 织 使 之 有 助 
于 检索 。 典 型 情况 下 ， 案 例 是 按 它们 的 最 显著 特征 来 索引 的 ， 这 样 便 可 以 高 效 地 检索 那些 与 当前 
问题 具有 大 多 数 公共 特征 的 案例 。 标 识 突出 特征 的 方法 依赖 于 问题 的 具体 情况 。 

2) 修改 检索 出 的 案例 以 便 应 用 到 当前 的 情况 。 通 常 一 个 案例 推荐 了 一 系列 从 起 始 状态 转变 
到 目标 状态 的 操作 。 推 理 程序 必须 把 保存 的 解 转 变 成 适合 当前 问题 的 操作 。 有 时 可 以 使 用 解析 
方法 ， 比 如 在 决定 自动 焊接 的 合适 温度 和 材料 时 把 存储 案例 和 新 问题 的 参数 进行 曲线 拟 合 是 很 
常见 的 。 当 无 法 使 用 案例 间 的 解析 关系 时 ， 启 发 性 方法 可 能 是 合适 的 ， 就 像 硬 件 诊 断 中 的 咨询 台 
那样 。 

3) 应 用 转换 后 的 案例 。 第 2 步 对 存储 的 案例 做 了 修改 ， 但 是 当 应 用 它 时 ， 并 不 能 保证 可 以 
得 到 满意 的 问题 解 。 这 可 能 需要 对 解 进行 修改 ， 并 反复 重复 前 三 个 步骤 。 

4) :将 解 以 成 功 或 失败 记录 的 形式 保存 起 来 供 将 来 使 用 。 存 储 新 案例 需要 对 索引 结构 进行 更 
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新 。 有 很 多 方法 可 以 用 来 维护 索引 ， 包 括 聚 类 算法 (Fisher 1987) 和 来 自 机 器 学 习 领 域 的 其 他 技 
术 (Stubblefield and Luger 1996) 。 

用 来 进行 基于 案例 推理 的 数据 结构 可 能 千差万别 。 在 最 简单 的 情况 下 ， 案 例 被 记录 为 一 个 
关系 组 : 一 部 分 数据 记录 了 要 被 匹配 的 特征 ， 余 下 的 数据 指向 求解 步 又 。 还 可 以 把 案例 表示 为 更 
复杂 的 结构 ， 比 如 证 明 树 。 一 种 相当 常见 的 案例 存储 机 制 是 把 案例 表示 为 一 个 很 大 的 “条 件 - 
动作 ”规则 集合 。 描 述 规则 条 件 的 事实 是 被 记录 案例 的 最 突出 特征 ， 组 成 规则 动作 的 运算 就 是 
要 用 在 新 条 件 下 的 变换 。 当 使 用 这 种 规则 表示 时 ， 可 以 使 用 像 RETE (Forgy 1982) 这 样 的 算法 
来 组 织 和 优化 对 恰当 案例 的 搜索 。 

基于 案例 问题 求解 中 的 最 难点 是 如 何 选择 用 来 索引 和 检索 案例 的 突出 特征 〈 不 论 选 择 什么 
样 的 数据 结构 来 表示 案例 ) 。Kolodner (1993) 和 其 他 一 些 著作 把 基于 案例 问题 求解 作为 规则 动 
态 地 包含 进 系统 ， 案 例 是 按照 问题 求解 器 的 目标 和 需要 来 组 织 的 。 也 就 是 说 ， 对 案例 描述 的 详细 
分 析 是 根据 这 些 案例 被 用 在 解 过 程 中 的 具体 情况 进行 的 。 

举例 来 说 ， 假 定 卫星 在 格林 威 治 标准 时 间 10 : 24 : 35 发 生 了 通信 信号 微弱 的 问题 。 通 过 分 析 
判断 能 源 系统 偏 低 。 能 源 偏 低 可 能 是 因为 太阳 能 电池 板 没 有 正好 面向 太阳 导致 的 。 地 面 控制 程 
序 对 卫星 的 朝向 作 了 调整 ， 于 是 通信 信号 恢复 正常 了 。 有 很 多 突出 特征 可 以 用 来 记录 这 个 案例 ， 
但 最 明显 的 是 通信 信号 变 弱 或 能 源 供 应 不 足 。 描 述 这 个 案例 的 另 一 个 特征 是 这 个 故障 的 发 生 时 
间 是 格林 威 治标 准时 间 10 : 24 :35。 在 这 个 案例 中 问题 求解 器 的 目标 和 需要 表明 突出 的 特征 是 通 
信 信 号 微弱 和 /或 能 源 供应 不 足 ; 发 生 时 间 很 可 能 是 无 关 的 ， 当 然 除非 故障 恰好 发 生 在 太阳 从 地 
平 线 上 消失 以 后 (Skinner and Luger 1995 ) 。 

要 考虑 的 另 一 个 关键 问题 是 如 何 表示 像 信号 微弱 或 能 源 不 足 这 样 的 概念 。 因 为 如 果 精 确 地 
描述 案例 情况 ， 比 如 用 准确 的 实数 来 描述 信号 强度 ， 那 么 同样 的 情况 也 许 再 也 不 会 发 生 ， 所 以 推 
理 程 序 很 可 能 把 这 些 值 表示 为 一 个 实数 区 间 ， 例 如 分 成 多 个 等 级 : 良好 、 接 近 良 好 、 弱 和 危险 
警报 。 

Kolodner (1993) 归纳 了 一 系列 可 能 的 优先 启发 来 辅助 案例 的 存储 和 检索 。 包 括 ; 

1) 目标 指向 优先 。 在 一 些 情 况 下 ， 至 少 可 以 通过 目标 描述 来 组 织 案例 。 检 索 和 当前 情况 具 
有 相同 目标 的 案例 。 

2) 突出 特征 优先 。 优 先 考虑 匹配 最 主要 特征 或 者 匹配 重要 特征 数 最 多 的 案例 。 

3) 指定 优先 。 先 寻找 尽 可 能 精确 匹配 的 特征 ， 然 后 再 考虑 更 一 般 的 匹配 。 

4) 频率 优先 。 先 检查 匹配 次 数 最 多 的 案例 。 

5) 最 新 性 优先 。 优 先 考虑 最 近 使 用 过 的 案例 。 

6) 易 适 应 优先 。 先 使 用 最 易于 适应 当前 情况 的 案例 。 

基于 案例 推理 为 专家 系统 的 设计 提供 了 很 多 优势 。 一 旦 知识 工程 师 找 到 了 合适 的 案例 表示 
方法 ， 那 么 接 下 来 的 知识 获取 过 程 就 非常 简单 ， 只 要 搜集 并 存储 更 多 的 案例 就 可 以 了 。 很 多 时 
候 ， 可 以 通过 历史 记录 或 监视 当前 操作 来 实现 案例 获取 ， 这 大 大 节约 了 人 类 专家 的 时 间 。 

此 外 ，CBR 提出 了 很 多 与 人 类 学 习 和 推理 有 关 的 重要 理论 问题 。 其 中 最 环 手 的 、 最 至 关 重 
要 的 问题 之 一 就 是 相似 性 的 定义 问题 。 尽 管 “相似 性 是 两 个 案例 的 共同 特征 数量 的 函数 ”这 个 
概念 很 合理 ,但 是 它 掩盖 了 很 多 深刻 的 细微 特征 。 例 如 ， 大 多 数 对 象 和 情况 都 具有 无 数 的 潜在 描 
述 属性 ; 基于 案例 推理 程序 通常 是 根据 很 小 的 检索 词汇 表 来 选择 案例 的 。 典 型 情况 下 ， 基 于 案例 
推理 程序 需要 知识 工程 师 定义 一 个 合适 的 词汇 表 来 描述 那些 高 度 相关 的 特征 。 尽 管 已 经 有 研究 
可 以 使 推理 程序 根据 它 自己 的 经 历来 判断 相关 特征 (Stubblefield 1995) ， 但 是 判断 相关 性 仍然 是 
一 个 难以 解决 的 问题 。 
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基于 案例 推理 中 的 另 一 个 重要 问题 是 如 何 处 理 存储 和 计算 之 间 的 平衡 。 基于 案例 程序 获取 
的 案例 越 多 ， 就 会 越 智能 ， 可 以 更 好 地 解决 不 同 的 目标 问题 。 随 着 向 推理 程序 加 入 案例 ， 它 的 性 
能 确实 会 提高 一 一 直到 某 一 点 。 问题 是 随 着 案例 库 的 不 断 增 长 ， 检索 和 处 理 一 个 合适 案例 所 需 
的 时 间 也 在 增长 。 庞 大 案例 库 中 的 到 概 念 、 噪 声 以 及 间 题 类 型 的 分 布 等 也 可 能 造成 其 效率 下 降 。 
解决 这 个 问题 的 一 种 方法 是 仅 保存 “最 佳 的 ”或 者 “原型 ”案例 ， 删 除 那 些 宛 余 的 或 者 不 常 使 
用 的 案例 ; 也 就 是 ， 忽略 那些 不 能 证 明 其 有 用 的 案例 。Samuel (1959) 用 来 保存 西洋 跳棋 布局 的 
保持 算法 是 这 种 策略 的 一 个 早期 例子 。 不 过 ， 通 常 并 没有 明确 的 做 法 来 自动 化 这 种 决策 ; 这 依然 
是 一 个 正在 研究 的 领域 (Kolodner 1993 ) 。 

对 基于 案例 推理 程序 来 说 ， 对 推荐 的 解 做 出 自动 解释 也 是 很 难 的 。 当 用 户 询问 为 什么 选择 
这 个 解 来 处 理 当 前 情况 时 ， 系 统 可 以 提供 的 惟一 解释 是 说 这 种 特定 方法 以 前 有 效 过 。 也 可 以 根 
据 当 前 情况 和 存储 案例 间 的 顶层 目标 描述 的 相似 性 做 出 解释 ， 但 不 是 很 有 力 。 在 卫星 通信 问题 
的 例子 中 ， 系 统 是 根据 通信 信号 微弱 来 选择 案例 的 。 对 这 种 推理 模式 来 说 ， 除 了 “在 以 前 类 似 
情况 中 有 效 过 ”这 一 解释 外 ， 不 存在 更 深层 的 解释 。 但 是 正如 前 面 所 指出 的 ， 对 于 很 多 情况 来 
说 这 一 解释 已 经 足够 了 。 

但 是 ， 很 多 学 者 感到 简单 重复 顶层 目标 和 要 被 应 用 的 案例 所 提供 的 解释 是 不 够 的 (Leake 
1992 ，Stern and Luger 1992 ) ， 特别 是 在 需要 对 为 什么 某 种 方法 不 行 做 出 解释 的 时 候 。 不 妨 再 以 卫 
星 的 情况 为 例 。 假 定 调整 太阳 能 电池 板 朝 向 有 效 了 ， 但 在 三 个 小 时 后 信号 又 变 弱 了 。 不 论 是 使 用 
频率 启发 还 是 最 新 性 启发 ， 我 们 都 会 再 次 调整 电池 板 朝 向 。 在 三 个 小 时 后 信号 微弱 又 发 生 了 。 而 
且 再 过 三 个 小 时 后 又 再 次 发 生 ， 我 们 总 是 应 用 同样 的 修理 方法 。 这 个 例子 是 以 在 卫星 上 发 生 的 
真实 的 情况 为 基础 的 ， 实 际 上 ， 人 们 发 现存 在 一 个 更 复杂 的 问题 ， 也 就 是 回转 仪 过 热 并 给 出 了 失 
真 的 读数 ， 使 卫星 的 朝向 出 现 偏差 。 最 终 解 决 这 个 问题 的 系统 使 用 了 基于 模型 推理 程序 来 模拟 
卫星 的 行为 以 判断 信号 微弱 的 根本 原因 (Skinner and Luger 1995 ) 。 

基于 案例 推理 与 类 比 学 习 问 题 有 着 密切 的 关系 。 为 了 重用 过 去 的 知识 两 种 情况 下 都 必须 
识别 突出 特征 并 建立 一 种 映射 ， 这 种 映射 定义 了 如 何 把 过 去 的 经 历 用 在 当前 的 情况 中 。 转 换 
类 比 (transformational analogy) (Carbonell 1983 ) 是 基于 案例 求解 问题 的 一 个 例子 。 它 通过 不 
断 地 修改 现存 解 直到 可 以 把 它 应 用 到 新 实例 来 求解 新 问题 。 修 改 完整 问题 解 的 操作 符 定义 了 
一 种 更 高 层 的 抽象 ， 或 者 叫 T- 空间 ， 在 这 个 空间 中 状态 就 是 问题 的 解 ， 操作 符 转 换 这 些 解 ， 
如 图 8-17 所 示 。 系 统 的 目标 是 把 源 解 转换 为 
目标 问题 的 可 能 解 。 操 作 符 通 过 以 下 方式 修 
改 解 : 在 解 路 径 中 插入 或 删除 步骤 ; 记录 解 
步骤 ; 把 新 解 嫁接 到 旧 解 上 ; 修改 当前 解 中 
的 参数 绑 定 关系 。 

转换 类 比 是 基于 案例 问题 求解 方法 的 一 
个 代表 。 后 来 的 研究 对 这 种 方法 进行 了 改进 ， 
考虑 了 更 多 问题 ， 比 如 表示 案例 的 方法 、 组 
织 内 存 和 以 前 案例 的 策略 、 检 索 以 前 有 关 案 
例 的 方法 以 及 在 求解 新 问题 中 如 何 使 用 案例 
等 。 如 果 要 了 解 基 于 案例 推理 的 更 多 信息 ， 
可 以 参阅 Hammond (1989 ) 和 Kolodner T .空间 
(1988a, b)。 在 讨论 基于 符号 的 机 器 学 习 图 8-17 转换 类 比 
( 见 10.5.4 节 ) 时 将 进一步 讨论 类 比 推 理 。 [摘自 Carbonell (1983)] 
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8. 3.4 混合 设计 : 强 方法 系统 的 优势 和 不 足 


专家 系统 成 功 地 求解 了 很 多 复杂 的 实际 问题 ， 这 证 明了 基于 知识 系统 背后 的 核心 思想 ( 推 
理 程序 的 威力 在 于 它 的 领域 知识 ， 而 不 是 推理 方法 的 复杂 性 ) 是 正确 的 。 不 过 ， 这 又 回 到 了 人 
工 智能 的 一 个 核心 问题 : 知识 表示 。 在 实践 中 ， 所 有 的 知识 工程 师 必 须 做 出 选择 : 如 何以 一 种 最 
适合 给 定 领 域 的 方式 来 表示 知识 。 知 识 表 示 又 会 引发 出 很 多 理论 上 非常 重要 但 难度 很 大 的 问题 ， 
比如 处 理 残缺 和 不 确定 的 信息 、 衡 量 表示 的 表达 力 、 表 示 语 言 之 间 的 关系 以 及 诸如 学 习 、 知 识 获 
取 和 推理 程序 效率 这 样 的 问题 。 

在 本 章 中 ， 我 们 考虑 了 很 多 基本 的 知识 表示 方法 : 基于 规则 的 专家 系统 、 基 于 模型 的 推理 程 
序 和 基于 案例 的 推理 程序 。 为 了 对 知识 工程 实践 有 所 帮助 ， 我 们 把 这 些 知识 密集 型 的 问题 求解 
方法 的 优势 和 不 足 归纳 如 下 。 


基于 规则 推理 

基于 规则 推理 的 优点 包括 : 

1) 能 够 以 非常 直接 的 方式 使 用 从 人 类 专家 那里 获取 的 经 验 知识 。 这 对 于 那些 高 度 依赖 启发 
来 管理 复杂 性 和 /或 残缺 信息 的 领域 尤其 重要 。 

2) 可 以 把 规则 映射 为 状态 空间 搜索 。 解 释 功能 支持 调试 。 

3) 知识 和 控制 的 分 离 简化 了 专家 系统 的 开发 过 程 ， 可 以 循环 地 组 织 开发 过 程 ， 即 不 断 重 复 
获取 、 实 现 和 检验 规则 这 一 过 程 。 

4) 在 有 限 的 领域 内 可 以 得 到 很 好 的 性 能 。 因 为 智能 问题 求解 所 需 的 知识 数量 极其 庞大 ， 所 
以 专家 系统 的 应 用 仅 限 于 很 窗 的 一 些 领域 。 不 过 ， 已 经 证 明 在 很 多 领域 中 都 已 经 取得 了 非常 好 
的 效果 (只 要 设计 得 当 )。 

5) 解释 机 制 很 好 。 尽 管 基本 的 基于 规则 框架 支持 灵活 的 针对 问题 的 解释 ， 但 是 必须 注意 到 
这 些 解释 的 最 终 质 量 依赖 于 规则 的 结构 和 内 容 。 数 据 驱动 系统 和 目标 驱动 系统 中 的 解释 机 制 差 
异 很 大 。 

基于 规则 推理 的 缺点 包括 : 

1) 很 多 时 候 从 人 类 专家 那里 获取 的 规则 具有 很 强 的 启发 性 ， 没 有 捕获 到 领域 中 的 功能 
性 一 一 基于 模型 的 知识 。 

2) 启发 性 规则 往往 比较 “脆弱 ”， 不 能 处 理 有 残缺 的 信息 或 意外 的 数据 值 。 

3) 规则 脆弱 性 的 另 一 表现 就 是 在 领域 知识 的 边缘 附近 其 性 能 迅速 退化 。 和 人 类 不 同 ， 基 于 
规则 系统 通常 不 能 在 遇 到 新 奇 问题 时 回 退 到 基本 的 推理 原则 。 

4) 解释 功能 仅 是 描述 层 的 ， 无 法 做 出 理论 性 解释 。 这 是 由 以 下 事实 所 导致 的 : 启发 式 规则 
的 强大 性 主要 来 源 于 把 问题 症状 和 解答 直接 联系 起 来 ， 并 不 需要 更 深层 的 推理 。 

5) 知识 往往 具有 很 强 的 任务 依赖 性 。 形 式 化 的 领域 知识 往往 就 是 直接 针对 当前 应 用 的 。 目 
前 的 知识 表示 语言 还 无 法 接近 人 类 推理 的 灵活 性 。 


基于 案例 推理 

基于 案例 推理 的 优点 包括 : 

1) 直接 编码 历史 知识 的 能 力 。 在 很 多 领域 中 ， 可 以 从 存在 的 案例 历史 、 修 理 记 录 或 其 他 资 
料 中 获取 案例 ， 这 缓解 了 从 人 类 专家 那里 获取 大 量 知识 的 压力 。 

2) 使 快捷 推理 成 为 可 能 。 如 果 可 以 找到 恰当 的 案例 ， 那 么 可 以 非常 快 地 求解 问题 ， 比 根据 
规则 或 模型 产生 解 要 快 得 多 。 

3) 它 使 系统 可 以 避免 过 去 的 错误 但 使 用 过 去 的 成 功 之 处 。 基 于 案例 推理 提供 了 一 个 很 好 的 
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学 习 模型 ,不 仅 有 理论 研究 价值 ， 而 且 有 足够 的 实践 价值 用 来 求解 复杂 的 问题 。 

4) 不 需要 对 领域 知识 进行 广泛 的 分 析 。 在 基于 规则 的 系统 中 ， 知 识 工 程 师 必须 预料 到 规则 
的 相互 作用 ， 与 此 不 同 ，CBR 可 以 在 知识 获取 中 采用 简单 的 相 加 模型 。 这 和 需要 恰当 的 案例 表示 、 
有 效 的 索引 检索 以 及 合理 的 案例 适应 策略 。 

5) 恰当 的 索引 策略 增加 了 系统 的 洞察 力 和 问题 求解 能 力 。 区 别 目标 问题 的 差异 并 选择 恰当 
案例 的 能 力 是 基于 案例 推理 程序 的 关键 ， 很 多 时 候 索 引 算法 可 以 自动 产生 这 种 效果 。 

基于 案例 推理 的 缺点 包括 : 

1) 很 多 时 候 案例 不 能 包含 更 深层 的 领域 知识 。 这 影响 了 解释 功能 ， 而 且 在 很 多 情况 中 可 能 
造成 错误 应 用 案例 ， 导 致 错误 的 或 质量 很 差 的 建议 。 

2) 庞大 的 案例 库 可 能 受到 存储 /计算 平衡 等 问题 的 困扰 。 

3) 难以 确定 好 的 索引 和 匹配 案例 标准 。 目 前 ， 单 词 检索 和 相似 匹配 算法 必须 经 过 仔细 的 手 
工 处 理 ; 这 大 大 抵消 了 CBR 所 具有 的 知识 获取 优点 。 


基于 模型 推理 

基于 模型 推理 的 优点 包括 : 

1) 在 问题 求解 中 使 用 功能 性 /结构 性 领域 知识 的 能 力 。 这 提高 了 推理 程序 处 理 不 同 问题 的 
能 力 ， 包 括 那 些 系统 设计 者 可 能 未 预料 到 的 问题 。 

2) 基于 模型 推理 往往 非常 鲁 棒 。 和 人 类 经 常 在 遇 到 新 问题 时 重复 基本 原则 的 原因 相同 ， 基 
于 模型 推理 程序 往往 具有 非常 好 的 鲁 棒 性 和 灵活 性 。 ， 

3) 某 些 知识 可 以 在 任务 之 间 转 移 。 基 于 模型 推理 程序 经 常 是 使 用 科学 的 理论 性 知识 建立 
的 。 科 学 所 力求 的 是 广泛 适用 的 理论 ， 这 种 一 般 性 也 为 基于 模型 推理 程序 提供 了 优势 。 

4) 很 多 时 候 ， 基 于 模型 推理 程序 可 以 提供 因果 关系 解释 。 这 可 以 向 用 户 表达 对 故障 的 更 深 
层 理 解 ， 因 而 能 起 到 很 重要 的 辅导 作用 。 


基于 模型 推理 的 缺点 包括 : 
1) 缺少 领域 的 经 验 性 〈 描 述 性 ) 知识 。 基 于 规则 系统 使 用 的 启发 方法 反映 了 经 验 知识 是 一 
项 有 价值 的 技能 。 


2) 它 需 要 一 个 显 式 的 领域 模型 。 很 多 领域 (例如 电子 电路 的 诊断 ) 有 很 强 的 理论 基础 ， 可 
以 很 好 地 支持 基于 模型 方法 。 不 过 ， 很 多 领域 (例如 某 些 医疗 专业 、 大 多 数 设计 问题 或 者 很 多 
财经 应 用 ) 缺乏 完善 定义 的 科学 理论 。 基 于 模型 方法 不 能 用 在 这 些 领域 中 。 

3) 复杂 度 高 。 基 于 模型 推理 通常 是 在 非常 复杂 的 层次 运行 ， 这 也 是 人 类 专家 把 启发 放 在 第 
一 位 的 主要 原因 之 一 。 

4) 意外 情况 。 例 如 ， 异 常 的 环境 、 桥 接 故障 或 电子 部 件 中 多 个 故障 的 相互 影响 可 能 会 以 事 
先 难以 预测 到 的 方式 影响 系统 功能 。 

混合 设计 

目前 研究 和 应 用 的 一 个 重要 热点 就 是 把 不 同 的 推理 模型 组 合 在 一 起 。 在 混合 体系 结构 中 ， 
两 种 或 更 多 种 模式 被 集成 到 一 起 ， 以 得 到 一 种 协作 效果 : 用 一 种 策略 的 优点 来 弥补 其 他 策略 的 
不 足 。 通 过 组 合 ， 我 们 可 以 弥补 前 面 讨论 所 提 到 的 各 种 不 足 。 

例如 ， 基 于 规则 系统 和 基于 案例 系统 的 组 合 可 以 : 

1) 提供 一 种 自然 的 解决 方法 ; 先 检查 已 知 案例 ， 然 后 再 进行 基于 规则 推理 和 有 关 的 搜索 。 

2) 通过 规则 库 中 保存 的 内 容 提 供 解 的 样 例 和 异常 。 

3) 把 基于 搜索 得 到 的 结果 记录 为 案例 供 将 来 使 用 。 通 过 保存 合适 的 案例 ， 推 理 程序 可 以 避 
免 重复 代价 很 高 的 搜索 。 
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基于 规则 系统 和 基于 模型 系统 的 组 合 可 以 ， 

1) 用 功能 性 知识 加 强 解释 能 力 。 这 在 教学 应 用 中 是 特别 有 价值 的 。 

2) 提高 了 当 规 则 失败 时 的 鲁 棒 性 。 如 果 没 有 任何 启发 式 规则 适用 于 给 定 的 问题 实例 ， 那 么 
推理 程序 可 以 根据 基本 原则 进行 推理 。 

3) 向 基于 模型 搜索 中 加 入 了 启发 式 搜索 。 这 有 助 于 管理 基于 模型 推理 的 复杂 度 并 使 推理 程 
序 可 以 在 备 择 的 可 能 解 之 间 做 出 智能 的 选择 。 

基于 模型 系统 和 基于 案例 系统 的 组 合 可 以 : 

1) 对 案例 中 记录 的 情况 给 出 更 成 熟 的 解释 。 

2) 在 开始 基于 模型 推理 和 更 深入 搜索 前 首先 自然 地 检查 存储 案例 。 

3) 在 案例 库 中 提供 样 例 和 异常 记录 用 来 引导 基于 模型 推理 。 

4) 记录 基于 模型 推理 的 结果 以 备 将 来 使 用 。 

混合 方法 很 值得 研究 人 员 和 应 用 开发 人 员 注 意 。 不 过 ， 建立 这样 的 系统 并 不 是 一 件 简单 的 
事 ， 需 要 解决 很 多 问题 ， 比 如 决定 在 给 定 情况 下 使 用 哪 种 推理 方法 ; 决定 何 时 改变 推理 方法 ， 解 
决 推理 方法 之 间 的 差异 ;以 及 设计 允许 知识 共享 的 表示 。 

下 一 节 讨 论 规 划 ， 也 就 是 如 何 把 过 程 片段 组 织 成 可 能 的 问题 解 。 


8.4 规划 


规划 程序 的 任务 是 寻找 一 个 动作 序列 使 问题 求解 器 (如 控制 系统 ) 可 以 用 其 完成 某 个 特定 
的 任务 。 传 统 规划 具有 很 强 的 知识 密集 型 特征 ， 因 为 创建 计划 需要 把 知识 片段 和 部 分 计划 组 织 
成 一 个 求解 过 程 。 规 划 在 专家 系统 的 时 序 事件 推理 中 起 着 重要 的 作用 。 规 划 在 生产 领域 有 很 多 
应 用 ， 如 过 程控 制 。 同 时 ， 它 对 设计 机 器 人 的 控制 器 也 非常 重要 。 在 自然 语言 理解 中 它 也 是 非常 
重要 的 ， 因 为 计划 、 目 标 和 动机 是 人 类 经 常 讨论 的 话题 。 


8.4.1 规划 简介 : 机 器 人 学 


这 一 节 中 ， 以 传统 机 器 人 学 为 例 进 行 讨 论 (大 多 数 现代 机 器 人 学 使 用 的 是 反应 控制 而 不 是 
协商 规划 ， 见 7. 3.1 节 和 8. 4.3 节 ) 。 一 个 传统 机 器 人 规划 的 步骤 是 由 机 器 人 的 原子 动作 (atomic 
action) 组 成 的 。 对 于 规划 这 个 目标 来 说 ， 我 们 不 必 关 心 硬 件 或 微观 层次 的 细节 (比如 “旋转 第 
6 个 步 进 电机 一 圈 ”) 。 相 反 ， 规 划 程 序 在 较 高 层次 上 定义 动作 ， 如 动作 对 周围 世界 的 效果 。 举 例 
来 说 ， 积 木 世 界 机 器 人 可 能 包括 这 些 动 作 :“ 拾 起 物体 a” 或 “ 走 到 位 置 x”。 实 际 使 机 器 人 执行 
计划 的 微观 控制 步骤 是 被 建立 在 这 些 高 层 动 作 中 的 。 

因此 ,“ 从 房间 b 出 发 去 取 积木 a” 的 动作 序列 可 能 是 : 

1) 放下 目前 拿 着 的 所 有 东西 

2) 走 到 房间 b 

3) 走 近 积木 & 

4) 拾 起 积木 a 

5) 离开 房间 b 

6) 回 到 原来 的 位 置 

可 以 通过 搜索 可 能 动作 的 空间 直到 发 现 完成 任务 所 必需 的 序列 来 创建 计划 。 空 间 中 包含 了 
通过 应 用 动作 而 产生 的 世界 状态 。 当 目标 状态 (世界 的 适当 描述 ) 出 现时 搜索 便 停 止 了 。 因 此 ， 
启发 式 搜索 中 的 很 多 课题 (包括 寻找 A* 算 法) 在 规划 中 也 存在 。 

规划 行为 并 不 依赖 于 实际 执行 该 计划 的 机 器 人 是 否 存在 。 在 计算 机 规划 的 早期 阶段 (20 世 
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纪 60 年 代 ) ， 在 机 器 人 执行 第 一 个 动作 之 前 就 已 经 制定 好 了 整个 规划 。 因 此 没有 任何 机 器 人 在 场 
也 可 以 设计 计划 。 最 近 ， 随 着 精密 感知 和 反应 设备 的 出 现 ， 研 究 的 焦点 已 经 集中 到 如 何 使 计划 / 
动作 序列 的 集成 度 更 高 。 

传统 的 规划 依赖 于 搜索 技术 ， 同 时 也 提出 了 很 多 特有 的 问题 。 例 如 ， 对 世界 状态 的 描述 可 能 
比 前 面 的 搜索 例子 更 加 复杂 。 考 虑 要 描述 一 个 机 器 人 环境 〈 房 间 、 走 廊 和 其 他 对 象 ) 所 需 的 谓 
词 数 量 。 我 们 不 仅 必须 要 表示 机 器 人 的 世界 ; 而 且 还 必须 表示 原子 动作 对 世界 的 影响 。 因 此 对 问 
题 空间 中 每 个 状态 的 描述 可 能 相当 复杂 。 

规划 中 的 另 一 个 不 同 是 需要 描述 某 个 特定 动作 没有 改变 的 情况 。 拾 起 一 个 对 象 改变 了 : a) 
这 个 对 象 的 位 置 ; b) 机 器 人 手中 现在 抓 的 物体 。 没 有 改变 : a) 门 和 房间 的 位 置 ; b) 其 他 对 象 
的 位 置 。 说 明志 界 状 态 中 什么 是 真 的 并 确定 “执行 某 个 动作 后 什么 改变 了 ”已 经 成 为 一 个 重要 
的 间 题 ， 即 所 谓 的 框架 问题 《McCarthy 1980 ，McCarthy and Hayes 1969) 。 随 着 问题 空间 复杂 度 的 
增 大 ， 跟 踪 每 个 动作 产生 的 变化 并 描述 保持 不 变 的 状态 特征 变 得 越 来 越 重要 。 我 们 将 介绍 两 种 
对 付 框架 问题 的 方法 ,但 是 正如 读者 将 要 看 到 的 ， 两 种 方法 都 不 是 令 人 完全 满意 的 。 

其 他 的 重要 问题 包括 : 产生 计划 、 保 存 和 泛 化 好 的 计划 、 从 意外 的 计划 失败 中 恢复 (世界 
的 某 些 部 分 可 能 是 未 预测 到 的 ， 或许 是 因为 意外 移动 造成 的 ) 、 维 护 世界 与 程序 中 的 内 部 世界 模 
型 之 间 的 一 致 。 

在 这 一 节 的 例子 中 ， 把 桌面 上 的 积木 集合 作为 
机 器 人 世界 ， 并 把 机 器 人 的 动作 限制 为 手臂 的 动作 ; 
可 以 堆放 、 移 去 和 在 桌 上 移动 积木 。 在 图 8-18 中 ， 
我 们 有 5 个 积木 ( 标 有 a、b、c、d、e) 都 被 放 在 
桌面 上 。 这 些 积 木 都 是 同样 大 小 的 立方 体 ， 而 且 正 
如 图 中 所 示 的 ， 堆 放 积 木 是 使 一 块 积木 放 在 另 一 块 
的 正 上 方 。 机 械 手 具有 一 个 钳子 可 以 抓 起 任何 清洁 
的 积木 ( 即 其 上 没有 任何 其 他 积木 的 积木 ) ， 并 可 以 


把 积木 移动 到 桌 上 的 任何 位 置 或 放 在 任何 其 他 清洁 | a 
C 


的 积木 上 。 
机 械 手 可 以 执行 以 下 几 个 任务 (U、V、W、X、 

Y 和 Z 是 变量 ) : 
goto(X, Y, Z) ”移动 到 由 X、Y 和 ZZ 坐标 描述 的 图 8-18 积木 世界 


位 置 。 这 个 位 置 可 能 隐 含 在 pickup (W) 命令 中 ， 因 为 积木 W 有 X、Y、Z 坐 标 。 

pickup(W) ”从 积木 W 的 当前 位 置 把 它 拾 起 并 抓 在 手中 。 假 定 W 上 是 清洁 的 ， 机 械 手 是 空 
的 ， 而 且 计 算 机 知道 W 的 位 置 。 

putdown(W) 把 W 放 在 桌面 的 某 个 位 置 上 ， 并 记录 下 W 的 新 位 置 。W 必须 在 机 械 手 中 。 

stack( U,V) ”把 积木 U 放 在 积木 V 上 。U 必须 在 机 械 手 中 ， 而且 V 上 必须 是 清洁 的 。 

unstack(U, V) ”把 积木 U 从 V 上 取 下 。 执 行 这 个 命令 前 ，U 上 必须 是 清洁 的 ，U 必须 在 V 
上 上， 机械手 必须 是 空 的 。 

可 以 用 一 系列 谓词 和 谓词 关系 来 描述 世界 状态 : 

location(W, X,Y,Z) 积木 W 在 坐标 XXX，Y，Z 处 。 

on(X, Y) ”积木 X 在 积木 Y 上 ， 而且 是 紧 贴 的 。 

clear(X) ”积木 X 上 什么 也 没有 。 

gripping(X) ”机 械 手 中 握 着 积木 X。 
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gripping() ”机 械 手 是 空 的 。 

ontable(W) ”W 在 桌面 上 。 

ontable(W) 是 location(W, X,Y,Z) 在 Z 等 于 桌面 高 度 时 的 简洁 形式 。 类 似 地 ，on(X, Y) 表示 
积木 X 的 下 表面 与 积木 Y 的 上 表面 是 重合 的 。 可 以 通过 让 计算 机 记录 每 个 积木 的 当前 位 置 loca- 
tion(X, Y, Z) 来 简化 以 上 描述 。 在 这 个 位 置 假定 下 ，goto 命令 就 没有 必要 了 ， 因 为 pickup(X) 、 
stack(X) 命令 已 经 隐 含 了 X 的 位 置 。 

现在 就 可 以 用 以 下 的 谓词 集合 来 描述 图 8-18 中 的 积木 世界 了 。 我 们 把 这 个 谓词 集合 称 为 状 
态 1。 因 为 这 些 谓词 描述 了 图 8-18 中 的 世界 状态 ,它们 是 同时 为 真 的 ， 所 以 完整 描述 就 是 这 些 谓 
词 的 合 取 (人 )。 


状态 1 
ontable(a). on(b, a). clear(b). 
ontable(c). on(e, d). clear(c). 
ontable(d). gripping( ). clear(e). 


下 面 为 clear(X) 、ontable(X) 和 gripping( ) 创建 一 些 真 值 关 系 〈 从 声明 这 个 意义 上 来 说 ) ， 
也 就 是 一 些 供 执行 的 规则 (从 过 程 这 个 意义 上 来 说 ) : 

1.(Y X) (clear(X) 二 一 (了 Y) (on(Y,X))) 

2. (VY) (VX)-— (on(YX) 二 ontable(Y)) 

3. (VY) gripping( ) ©O — (gripping(Y)) 


第 一 个 语句 是 说 如 果 积 木 X 是 清洁 的 ， 那 么 不 存在 任何 积木 Y 满足 积木 Y 在 积木 X 上 。 如 
果 从 过 程 角度 解释 ， 那 么 就 是 “要 清洁 积木 X 就 要 过 去 并 且 移 除 X 上 面 的 任何 积木 Y”。 

现在 设计 用 来 对 状态 进行 操作 和 产生 新 状态 的 规则 。 在 这 样 做 的 时 候 ， 我 们 再 次 把 过 程 语 
义 隐 含 到 谓词 逻辑 表示 中 。 这 些 操作 符 〈pickup、putdown 、stack、unstack) 是 : 

4，(Y X) (pickup(X) 一 (gripping(X) ¢— (gripping( ) ^ clear(X) 和 ontable(X)))). 

5. (Vv X) (putdown(X) 一 ((gripping( ) ^ ontable(X) ^ clear(X)) ¢— gripping(X))). 

6. (VX)(vY) (stack(X,Y) 一 ((on(X,Y¥) gripping( ) ^ clear(X)) ¢ (clear(Y) 人 

gripping(X)))). 

了 (Vv XV W (unstack(X,Y) » ((clear(Y) ~ gripping(X)) © (on(X,Y) A 

clear(X) ^ gripping( ))), 

考虑 第 4 个 规则 : 对 于 所 有 积木 X，pickup (X) 意味 着 在 手中 为 空 和 X 清洁 的 条 件 下 
gripping(X) 。 注 意 这 些 规则 都 具有 如 下 形式 : A 一 (BoC) 。 这 是 说 操作 符 A 在 条 件 C 为 真 时 产 
生 谓 词 B。 我 们 可 以 用 这 些 规则 来 产生 状态 空间 中 的 新 状态 。 也 就 是 ， 如 果 谓 词 C 在 一 个 状态 中 
为 真 ， 那么 B 在 它 的 子 状态 中 为 真 。 换 句 话 来 说 ， 当 谓词 C 为 真 时 ， 可 以 用 操作 符 A 产生 一 个 
新 的 用 谓词 B 描述 的 状态 。 创 建 这 些 操 作 符 的 其 他 方法 包括 STRIPS (Nilsson 1980 和 8.4.2 节 ) 
以 及 Rich and Knight (1991) 中 的 do 本 数 。 

不 过 ， 我 们 必须 在 使 用 这 些 规则 关系 产生 新 的 积木 世界 状态 前 解决 框架 问题 。 框 架 公理 
(frame axiom) 是 一 种 规则 ， 它 可 以 告诉 我 们 哪些 描述 状态 的 谓词 不 因 规则 应 用 而 改变 ， 因 此 它 
携带 了 有 助 于 描述 新 世界 状态 的 不 变 信 息 。 举 例 来 说 ， 如 果 我 们 对 图 8-18 中 的 积木 b 应 用 pick- 
up 操作 符 ， 那 么 和 其 余 积 木 相关 的 所 有 谓词 在 子 状态 中 仍然 为 真 。 对 于 这 个 积木 世界 来 说 ， 我 
们 可 以 确定 几 个 这 样 的 框架 规则 : 
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8. (YX) (YY) (Y Z) (unstack(YZ) 一 (ontable(X) ¢— ontable(X))). 
9. (VX) (YY)(VY Z) (stack(YZ) 一 (ontable(X) 全 ontable(X))). 


这 两 个 规则 指出 ontable 不 受 satck 和 unstack 操作 符 的 影响 。 即 使 当 X 和 Z 相同 时 这 也 是 
成 立 的 ; 如 果 Y 丫 =Z， 那 么 上 面 的 规则 6 和 7 中 有 一 个 不 为 真 。 

其 他 框架 公理 指出 仅 当 特定 的 on 关系 被 unstack 或 clear 关系 被 stack 时 ，on 和 clear 才 
受 stack 和 unstack 操作 符 的 影响 。 因 此 ， 在 我 们 的 例子 中 ，on(b, a) 不 受 unstack(c, d) 的 
影响 。 

类 似 地 ， 还 可 以 用 框架 公理 指出 仅 当 X=Y 或 gripping() 为 真 时 ，clear(X) 关系 不 受 grip- 
ping(Y) 的 影响 。 另 外 ，gripping 不 影响 on( X, Y) 关系 ， 但 是 当 X 是 被 抓 对 象 时 gripping 会 影响 
ontable(X) 关 系 。 因 此 ， 我 们 可 以 为 自己 的 例子 确定 很 多 框架 公理 。 

总 而 言 之 ， 这 些 操作 符 和 框架 公理 定义 了 一 个 状态 空间 ， 下 面 以 unstack 操作 符 为 例 做 进 一 
步 说 明 。unstack(X, Y) 需要 三 个 条 件 同时 为 真 ， 也 就 是 on(X, Y) 、gripping() 和 clear(X) 。 当 这 
些 条 件 满足 时 ， 便 可 以 通过 应 用 unstack 操作 符 产 生 新 的 谓词 gripping( X) 和 clear(Y) 。 状 态 1 中 
为 真 的 很 多 其 他 谓词 在 状态 2 中 仍 保持 为 真 。 这 些 状态 是 通过 框架 公理 保持 到 状态 2 的 。 现 在 通 
过 向 状态 1 的 9 个 谓词 应 用 unstack 操作 符 以 及 框架 公理 来 产生 描述 状态 2 的 9 个 谓词 ， 这 个 过 
程 的 净 结 果 是 移 去 积木 e: 


状态 2 
ontable(a). on(b,a). clear(b). 
ontable(c). clear(c). clear(d). 
ontabie(d). gripping(e). clear(e). 


归纳 起 来 : 

1) 可 以 把 规划 看 成 是 状态 空间 搜索 。 

2) 通过 应 用 像 stack 和 unstack 这 样 的 通用 操作 符 以 及 框架 规则 来 产生 新 的 状态 。 

3) 可 以 应 用 图 搜索 技术 来 寻找 从 起 始 状态 到 目标 状态 的 路 径 。 这 种 路 径 上 的 操作 便 组 成 了 
计划 。 

图 8-19 显示 了 应 用 上 面 描述 的 操作 符 来 搜索 状态 空间 的 例子 。 如 果 把 目标 描述 加 入 到 这 个 
问题 求解 过 程 之 中 ， 那 么 就 可 以 把 计划 看 成 是 一 个 操作 符 集合 ， 这 些 操作 符 产 生 了 从 图 中 的 当 
前 状态 通 往 目 标的 路 径 〈 见 3.1.2 节 )。 

以 上 规划 问题 的 特征 性 定义 了 规划 在 状态 空间 搜索 、 谓 词 演 算 表 示 和 推理 方面 的 理论 基础 。 
不 过 ， 应 该 注意 到 这 种 解决 方式 可 能 是 非常 复杂 的 。 特 别 是 ， 使 用 框架 规则 来 推导 状态 之 间 保 持 
不 变 的 谓词 可 能 使 搜索 复杂 度 呈 指数 变化 ， 这 一 点 可 以 从 非常 简单 的 积木 世界 问题 中 看 到 。 事 
实 上 ， 当 引入 任何 新 的 谓词 描述 符 时 (比如 为 了 表示 颜色 、 形 状 和 大 小 ) ， 必 须 定义 新 的 框架 
规则 。 

以 上 讨论 还 假定 组 成 任务 的 子 问题 是 独立 的 ， 因 此 可 以 按 任意 顺序 求解 。 在 实际 的 复杂 问 
题 域 中 这 种 情况 是 非常 少见 的 ， 相 反 ， 实 现 一 个 子 目 标 所 需 的 前 提 和 动作 经 常 是 与 实现 另 一 个 
目标 的 前 提 和 动作 相 冲 突 的 。 下 一 节 将 介绍 这 些 问题 并 讨论 一 种 非常 有 助 于 处 理 这 种 复杂 度 的 
规划 方法 。 
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图 8-19 积木 世界 的 一 个 部 分 的 状态 空间 部 分 























8. 4.2 使 用 规划 宏 : STRIPS 


STRIPS 是 由 现在 的 斯 坦 福 研究 所 (SRI International) 开发 的 ， 意 思 是 斯 坦 福 研 究 所 规划 系 
统 (Stanford Research Institute Planning System) (Fikes and Nilsson 1971 ，Fikes et al. 1972) 。 这 个 
控制 程序 是 用 来 驱动 20 世纪 70 年 代 的 SHAKEY 机 器 人 的 。STRIPS 解决 有 效 地 表示 和 实现 规划 
程序 的 操作 时 出 现 的 问题 。 它 考虑 了 子 目标 冲突 问题 并 提供 了 一 个 早期 的 学 习 模 型 ; 成 功 的 计 
划 被 保存 成 宏 操作 符 (macro operator) ， 宏 操作 符 可 以 泛 化 用 在 将 来 的 类 似 情况 中 。 在 本 节 的 余 
下 部 分 中 ， 介 绍 一 种 STRIPS 风格 的 规划 和 三 角 表 格 一 这 是 一 种 用 来 组 织 和 存储 宏 操 作 的 数据 
结构 。 

仍 以 前 面 的 积木 世界 为 例 ， 但 这 里 用 三 元 组 来 表示 pickup 、putdown 、stack 和 unstack 操作 
符 。 三 元 组 的 第 一 个 元 素 是 前 提 集合 (P) ， 也 就 是 要 应 用 一 个 操作 符 时 必须 满足 的 条 件 。 三 元 
组 的 第 二 个 元 素 是 增加 列表 (A) ， 也 就 是 应 用 操作 符 的 结果 导致 的 状态 描述 增加 。 最 后 一 个 元 
素 是 删除 列表 〈(D) ， 也 就 是 当 应 用 操作 符 时 要 从 状态 描述 中 删除 的 项 目 。 这 些 列表 消除 了 对 独 
立 框架 公理 的 需要 。 按 照 这 种 方式 可 以 把 四 个 操作 符 表示 为 ; 

P: gripping( ) 和 clear(X) 入 ontable(X) 


pickup(X) A: gripping(X) 
D: ontable(X) 入 gripping( ) 


P: gripping(X) 
putdown(X) A: ontable(X) ^ gripping( ) ^ clear(X) 
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D: gripping(X) 


P: clear(Y) 和 gripping(X) 
stack(X,Y) A: on(X,Y) ^ gripping( ) ^ clear(X) 
D: clear(Y) ^ gripping(X) 


P: clear(X) ^ gripping( ) ^ on(X,Y) 
unstack(X,Y) A: gripping(X) ^ clear(Y) 
D: gripping( ) ^ on(X,Y) 


增加 和 删除 列表 的 重要 之 处 是 它们 指定 了 满足 框架 公理 所 需 的 一 切 。 在 增加 和 删除 列表 方 
法 中 存在 某 些 元 余 。 举 例 来 说 ， 在 unstack 中 增加 gripping(X) 隐 含 了 删除 gripping()。 但 这 种 元 
余 的 好 处 是 没有 被 增加 或 删除 列表 提 到 的 所 有 状态 描述 符 在 新 的 状态 描述 中 将 保持 不 变 。 

这 种 “前 提 -增加 - 删除 列表 ”方法 的 一 个 弱点 是 我 们 不 再 使 用 定理 - 证 明 过 程 来 (通过 
推理 ) 产生 新 的 状态 。 不 过 这 不 是 一 个 严重 的 问题 ， 对 这 两 种 方法 等 价 性 的 证 明 可 以 保证 “前 
提 -增加 - 删除 列表 ”方法 的 正确 性 。 可 以 使 用 “前 提 - 增加 - 删除 列表 ”方法 产生 与 前 面 例 
子 使 用 推理 规则 和 框架 公理 产生 的 结果 相同 的 结果 。 两 种 方法 的 状态 空间 搜索 是 相同 的 ， 如 图 
8-19 所 示 。 

截至 目前 介绍 的 两 种 方法 还 没有 解决 规划 中 存在 的 很 多 其 他 固有 问题 。 在 求解 一 个 目标 时 ， 
我 们 经 常 将 它 分 割 成 多 个 子 问题 ， 例 如 ，unstack(e, d) 和 unstack(b, a) 。 如 果实 现 一 个 目标 所 
必需 的 动作 实际 上 撤销 了 另 一 个 动作 ， 那 么 就 无 法 独立 地 求解 这 些 子 目 标 。 不 兼容 的 子 目标 可 
能 导致 子 目 标 线性 (独立 ) 假定 不 成 立 。 计 划 / 动 作 空间 的 非 线性 可 能 使 解 搜 索 异 常 困难 或 者 甚 
至 不 可 能 。 

下 面 举 一 个 非常 简单 的 例子 来 说 明 不 兼容 子 目 标 问题 ， 我 们 使 用 图 8-18 的 状态 1 作为 起 
始 状态 。 假 定 规划 的 目标 是 图 8-20 所 示 的 状态 G， 即 on(b, a) Aon(a, c) ， 积 木 d 和 e 仍然 保 
持 状 态 1 中 的 位 置 。 可 以 注意 到 合 取 目标 on(b, a) 人 on(a, c) 中 的 第 一 个 合 取 项 (也 就 是 on(b， 
a) ) 在 状态 1 中 是 成 立 的 。 但 是 为 了 实现 第 二 个 子 目 标 on(a, c) ， 必 须 先 破坏 这 部 分 已 经 满足 的 
目标 。 

三 角 表 格 表 示 (Fikes and Nilsson 1971 ，Nilsson 1980) 是 一 种 旨 在 缓解 以 上 问题 的 数据 结构 。 
其 目的 是 用 来 组 织 一 个 计划 的 动作 序列 ， 包 括 可 能 
不 兼容 的 子 目标 。 三 角 表 格 通过 表示 动作 序列 的 全 
局 性 相互 作用 来 处 理子 目标 冲突 问题 。 它 把 一 个 动 
作 的 前 件 与 其 前 面 动 作 的 后 件 一 一 合并 的 增加 和 删 
除 表 一 一 联系 起 来 。 b | 

在 建立 计划 过 程 中 ， 可 以 使 用 三 角 表 格 来 判 | 
断 何 时 可 以 使 用 一 个 宏 操作 符 。 通 过 保存 并 复 用 
这 些 宏 操作 符 ，STRIPS 大 大 提高 了 它 的 规划 搜索 a 
效率 。 事 实 上 ， 我 们 可 以 对 宏 操 作 符 进行 泛 化 ， 
方法 是 用 变量 名 来 代替 特定 例子 中 的 积木 名 。 然 
后 就 可 以 调用 这 些 泛 化 后 的 新 宏 来 修剪 搜索 。 在 
第 10 章 中 介绍 基于 符号 学 习 时 ， 将 讨论 泛 化 宏 运 
算 的 技术 。 图 8-20 积木 世界 的 目标 状态 
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宏 操 作 符 的 复 用 还 有 助 于 解决 子 目标 冲突 问题 。 正如 下 面 的 例子 所 说 明 的 ， 一 旦 规划 程序 
已 经 制定 了 一 个 实现 stack(X, Y) A stack(Y, Z) 目标 的 计划 ， 那么 就 可 以 保存 并 复 用 这 个 计划 了 。 
这 便 避 免 了 把 这 个 目标 分 解 成 子 目 标 以 及 随 之 带 来 的 麻烦 。 

图 8-21 显示 了 一 个 表示 宏 动 作 stack( X,Y) A stack(Y, Z) 的 三 角 表 格 。 可 以 把 这 个 宏 动 作 应 
用 到 on(X, Y) A clear(X) A clear(Z) 为 真 的 状态 。 如 果 令 X =b,，Y =a, Z =c， 那 么 就 可 以 把 这 
个 三 角 表 格 应 用 到 状态 1。 





gripping() 
clear(X) 
on(X,Y) unstack(X,Y) 


eo 
putdown(X) 

ontable(Y) clear(Y) gripping() 
pickup(Y) 
Eng 
EE | 

ontable(X) 















3 





stack(Y,Z) 


pickup(X) 
Pe 
on(X,Y) 
on(Y,2) clear(X) 
gripping() 


1 2 3 4 5 6 7 


图 8-21 三 角 表 格 
[摘自 Nilsson (1971)] 


计划 的 原子 动作 是 沿 对 角 线 记录 的 。 例 如 ， 前 面 讨 论 的 四 个 动作 pickup、putdown、stack 
和 unstack。 这 些 动作 的 前 件 集合 位 于 这 个 动作 之 前 的 行 中 ， 后 件 位 于 其 下 的 列 中 。 举 例 来 说 ， 
第 5 行列 出 了 动作 pickup(X) 的 前 件 ， 第 6 列 列 出 了 pickup(X) 的 后 件 〈 增 加 和 删除 列表 ) 。 后 件 
被 放 在 使 用 它们 作为 前 件 的 动作 行 中 ， 而 且 是 按照 和 进一步 动作 有 关 的 方式 来 组 织 的 。 三 角 表 
格 的 目标 是 使 构成 较 大 目标 的 较 小 动作 的 前 件 和 后 件 正确 交错 。 因 此 ， 三 角 表格 是 在 宏 操 作 符 
这 个 层次 上 来 考虑 规划 中 的 非 线 性 问题 的 ， 偏 序 规划 程序 (Russell and Norvig 1995) 和 其 他 一 些 
方法 进一步 考虑 了 这 些 问 题 。 

三 角 表 格 的 一 个 优点 是 有 助 于 从 未 预料 到 的 情况 〈 比 如 积木 略微 错位 ) 或 事故 〈 比 如 落下 
一 块 积木 ) 中 恢复 。 很 多 时 候 如 果 发 生 了 事故 ， 那 么 需要 后 退 很 多 步 才能 恢复 计划 。 当 某 些 东 
西 出 问题 时 ， 规 划 程 序 可 以 回潮 到 三 角 表 格 的 行 和 列 中 检查 仍然 为 真 的 情况 。 一 旦 规划 程序 已 
经 分 析出 行 和 列 中 仍然 为 真 的 情况 ， 那 么 它 便 知 道 了 要 重新 开始 较 大 的 求解 目标 应 该 从 哪里 开 
始 。 这 种 方法 是 从 核 (kernel) 概念 入 生 而 来 的 。 

n 次 核 就 是 第 n 行 和 其 下 的 所 有 行 与 第 n 列 及 其 左边 的 所 有 列 组 成 的 交叉 区 域 。 图 8-21 中 用 
粗 线 勾画 出 了 三 次 核 。 在 执行 一 个 用 三 角 表 格 表示 的 计划 时 ,第 i 个 操作 (也 就 是 第 i 行 中 的 操 
作 ) 仅 当 i 次 核 所 包含 的 所 有 谓词 都 为 真 时 才 可 以 执行 。 这 便 提供 了 一 种 非常 简单 的 方法 来 核对 
是 否 可 以 执行 一 个 步骤 ; 同时 也 人 允许 我 们 系统 地 恢复 计划 的 任何 中 断 。 给 定 一 个 三 角 表 格 ， 我 们 
只 要 寻找 并 执行 满足 核 的 最 大 序号 动作 便 可 以 了 。 这 不 仅 使 我 们 可 以 备份 计划 ， 而 且 还 有 可 能 
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使 未 预料 到 事件 促成 计划 的 向 前 跳 路 。 

最 左 列 中 的 条 件 是 整个 宏 动作 的 前 件 。 最 下 面 一 行 中 的 条 件 是 这 个 宏 动作 加 入 世界 中 的 
条 件 。 因 此 ， 可 以 用 三 角 表 格 自己 的 前 件 /后 件 集合 和 添加 /删除 列表 把 它 保存 为 一 个 宏 操 
作 符 。 

当然 ， 三 角 表 格 方法 确实 丢失 了 前 面 所 介绍 的 规划 模型 的 部 分 语义 。 例 如 ， 在 一 个 动作 的 所 
有 后 件 中 ， 仅 有 同时 也 是 后 面 动作 前 件 的 那些 部 分 被 保存 下 来 。 因 此 ， 如 果 希 望 保证 正确 性 ， 那 
么 就 需要 对 三 角 表 格 进行 进一步 的 验证 ,或 许可 以 通过 附加 信息 编写 一 系列 三 角 表 格 来 解决 这 
个 问题 。 

在 规划 中 使 用 宏 操作 符 也 产生 了 另 一 些 问 题 。 随 着 宏 操作 符 数 量 的 上 升 ， 规 划 程 序 可 用 的 
操作 也 越 来 越 强 大 ， 这 减 小 了 必须 搜索 的 状态 空间 大 小 。 但 不 幸 的 是 ， 在 搜索 的 每 一 步 ， 都 必须 
分 析 所 有 这 些 操作 符 。 判 断 应 用 哪个 操作 符 所 需 的 模式 匹配 过 程 会 给 搜索 增加 可 观 的 开销 。 判 
断 何 时 该 保存 一 个 宏 操 作 以 及 下 一 步 应 该 使 用 哪个 宏 操 作 符 仍然 是 有 待 研究 的 问题 。 在 下 一 节 
介绍 一 种 可 以 同时 满足 多 个 子 目标 的 算法 一 一 teleo-reactive 规划 。 


8. 4.3 teleo-reactive 规划 





从 前 一 节 所 介绍 的 对 规划 的 早期 研究 (Fikes and Nilsson 1971) 到 现在 ， 这 一 领域 已 经 有 了 
很 多 重要 的 发 展 。 早 期 研究 大 多 数 是 独立 于 具体 领域 规划 的 ， 但 是 最 近 人 们 已 经 意识 到 了 针对 
具体 领域 (采用 一 种 分 布 式 的 感知 /反应 机 制 ) 的 重要 性 。 下 面 ， 介 绍 一 个 独立 于 具体 领域 的 规 
划 系 统一 一 teleo-reactive 规划 ， 以 及 一 个 针对 领域 的 规划 程序 一 一 来 自 NASA 的 Burton。 如 果 要 
了 解 最 早期 规划 研究 的 详细 情况 ， 推 荐 读者 阅读 (Allen et al. 1990)。 

teleo-reactive (TR) 规划 最 初 是 由 Nilsson (1994) 和 Benson (1995 ) 在 斯 坦 福 大 学 提出 的 。 
TR 规划 提供 了 一 种 通用 的 体系 结构 ， 可 以 应 用 到 必须 协调 控制 各 个 复杂 子 系统 以 实现 更 高 层 目 
标的 很 多 领域 。 因 此 它 融 合 了 层次 控制 体系 结构 的 从 顶 至 下 方法 和 “基于 主体 的 ”( 见 7.4 节 ) 
从 底 至 上 方法 。 产 生 的 系统 可 以 通过 针对 任务 的 简单 主体 的 合作 来 实现 复杂 的 问题 求解 。 这 样 
做 的 理由 是 简单 主体 具有 工作 在 较 小 的 具有 更 多 约束 的 问题 空间 内 的 优势 。 另 一 方面 ， 较 高 层 
的 控制 程序 可 以 做 出 关于 整个 系统 的 更 加 全 局 性 的 决策 ,例如 当前 的 纯粹 局 部 决策 可 能 如 何 影 
响 整 个 问题 求解 任务 的 结果 。 

teleo-reactive 控制 组 合 了 基于 反馈 控制 和 离散 动作 规划 的 特征 。teleo-reactive 程序 序列 化 地 执 
行 已 经 汇编 进 一 个 面向 目标 计划 的 动作 。 与 更 传统 的 AI 规划 环境 (Weld 1994) 不 同 ， 它 不 对 动 
作 的 离散 性 和 不 可 中 断 性 以 及 每 个 动作 效果 的 完全 可 预测 性 做 出 任何 假定 。 相 反 ，teleo 动作 可 
以 维持 很 长 一 段 时 期 ， 也 就 是 说 只 要 teleo 动作 的 前 件 是 被 满足 的 而 且 与 其 关联 的 目标 还 没有 实 
现 ， 那 么 就 执行 这 个 动作 。Nilsson (1994) 称 这 种 类 型 的 动作 为 可 持续 的 。 可 持续 动作 可 以 在 某 
个 其 他 的 更 靠近 顶层 目标 的 动作 被 激活 时 打 断 。 一 个 很 短 的 感知 - 反应 循环 保证 了 当 环 境 变化 
时 控制 动作 也 会 迅速 改变 以 反映 问题 解 的 最 新 状态 。 

teleo-reactive 动作 序列 使 用 一 种 被 称 为 TR 树 的 数据 结构 来 表示 ， 如 图 8-22 所 示 。TR 树 是 用 
一 系列 条 件 - 动作 对 来 描述 的 (也 就 是 产生 式 规 则 ， 见 6.3 节 )。 例 如 : 

co 一 Ao 

C1 一 Ai 

C:， — 人 > 


Cc A, 
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其 中 Ci 是 条 件 ，A 是 与 之 关联 的 动作 。 我 们 把 C。 称 为 树 的 最 顶层 目标 ， 把 Au 称 为 空 动 
作 ， 意 思 是 一 旦 最 顶层 目标 已 经 实现 了 ， 那 么 就 不 要 再 做 任 
何事 了 。 在 teleo-reactive 系统 的 每 次 循环 中 ， 从 规则 的 最 顶层 
向 下 评估 每 个 C，( C。，C, ，…，C,) ， 直 到 找到 第 一 个 成 立 A 
的 条 件 。 然 后 便 执行 与 这 个 成 立 条 件 相关 联 的 动作 。 然 后 重 (©z) 
复 这 个 评估 循环 ， 重 复 频率 与 电路 控制 的 反应 频率 接近 。 wad4 

C 一 A 产生 式 是 以 这 样 一 种 方式 组 织 的 ， 对 于 每 个 动作 2 、 

A 来 说 ， 如 果 在 正常 情况 下 不 断 执 行 这 个 动作 ， 那 么 它 最 终 人 

可 以 使 TR 规则 树 〈 见 图 8-22) 中 某 个 更 高 的 条 件 为 真 。 可 以 

把 TR 树 的 执行 看 成 是 可 适应 的 ， 因 为 如 果 在 控制 环境 中 某 个 ‘(es) 

未 预料 到 的 事件 逆转 了 前 面 动作 的 效果 ， 那么 TR 执行 过 程 会 

返回 到 较 低层 反映 那个 条 件 的 规则 条 件 。 从 这 一 点 来 看 ， 它 图 8.22 一 个 简单 的 TR 树 
会 根据 满足 所 有 更 高 层 目标 的 需要 重新 启动 。 类 似 地 ， 如 果 注 ， 它 显示 了 支持 最 顶层 目标 的 条 件 动 
意外 发 生 了 某 个 好 的 现象 ， 那 么 TR 执行 过 程 会 自动 切换 到 对 作 规则 ， 摘 自 Klein et al (2000) 
应 于 这 个 成 立 条 件 的 动作 ， 从 这 个 意义 上 来 说 ， 它 具有 机 

会 性 。 

可 以 使 用 一 种 AI 中 很 普遍 的 目标 缩减 方法 来 构建 TR 树 。 规 划 程序 从 最 顶层 目标 开始 搜索 
其 结果 包含 要 实现 目标 的 动作 。 搜 索 到 的 动作 的 前 件 产生 了 新 的 子 目标 集合 ， 因 此 这 个 过 程 是 
递归 的 。 当 环境 中 的 当前 状态 满足 叶 结 点 的 前 件 时 搜索 便 终 止 。 因 此 这 种 规划 算法 是 从 最 顶层 
目标 通过 目标 缩减 方法 回归 到 当前 状态 。 当 然 ， 一 些 动作 经 常会 有 副作用 ， 因 此 规划 程序 必须 仔 
细 地 验证 任何 层 的 动作 不 会 改变 那些 是 TR 树 上 更 高 层 动作 前 件 的 条 件 。 因 此 ， 目 标 缩减 是 在 有 
约束 的 情况 下 进行 的 ， 在 这 个 过 程 中 可 以 采用 各 种 不 同 的 动作 排序 策略 来 消除 可 能 的 约束 冲突 。 

因此 ，TR 规划 算法 是 用 来 建立 问题 域 中 当前 状态 可 以 满足 叶 结 点 的 计划 。 它 通常 不 建立 完 
整 的 计划 一 一 即 可 以 从 任何 世界 状态 启动 的 计划 ， 因 为 这 样 的 计划 通常 过 于 庞大 ， 难 以 存储 或 
被 高 效 地 执行 。 这 一 点 是 很 重要 的 ， 因 为 有 时 一 个 未 预料 到 的 环境 事件 可 能 把 世界 切换 到 一 种 
TR 树 中 的 所 有 动作 前 件 都 不 满足 因此 有 必要 重新 规划 的 状态 。 这 通常 是 通过 重新 激活 TR 规划 
程序 来 完成 的 。 

Benson (1995) 和 Nilsson (1994) 已 经 把 teleo - reactive 规划 应 用 到 很 多 领域 ， 包括 控制 分 
布 式 机 器 人 主体 和 建立 飞行 模拟 器 。Klein et al (1999，2000) 已 经 使 用 teleo - reactive 规划 程序 
来 建立 和 检验 一 种 可 移植 的 控制 体系 结构 来 加 速 粒子 束 。 这 些 研究 者 指出 在 粒子 束 控制 领域 使 
用 teleo - reactive 控制 程序 有 很 多 好 处 : 

1) 加 速 器 粒子 束 及 其 相关 的 诊断 通常 是 动态 的 而 且 是 有 了 噪声 的 。 

2) 加 速 器 调节 目标 的 实现 经 常 是 通过 随机 过 程 、RF 衰弱 或 粒子 源 的 摆动 来 实现 的 。 

3) 调节 所 需 的 很 多 动作 是 可 持续 的 。 尤 其 是 当 需 要 继续 调整 和 优化 操作 直到 满足 特定 标准 
的 时 候 。 

4) TR 树 为 加 速 器 设计 者 提供 了 一 种 直观 的 框架 用 来 编排 调节 计划 。 事 实 上 在 一 点 点 帮助 
下 ， 设 计 者 们 便 能 够 开发 出 自己 的 TR 树 。 

这 些 应 用 的 进一步 细节 可 以 在 参考 文献 中 找到 。 下 面 再 回 到 8. 3 节 中 NASA 的 基于 模型 推理 
例子 ， 以 进一步 描述 航天 飞船 推进 系统 的 控制 /规划 算法 。 


8.4.4 规划 : 来 自 NASA 的 例子 
本 节 描 述 如 何在 基于 模型 推理 程序 的 背景 下 实现 规划 程序 。 我 们 继续 讨论 8. 3. 2 节 中 引入 的 
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来 自 NASA 的 例子 ， 这 个 例子 摘自 Williams and Nayak (1996b)。Livingstone 是 一 个 反应 式 的 配置 


管理 程序 ， 它 使 用 一 个 合成 的 基于 组 件 模型 来 决定 太空 飞船 推进 系统 的 配置 动作 ， 如 图 8-23 
所 示 。 





图 8-23 ”基于 模型 的 反应 式 配 置 管理 
[摘自 Williams and Nayak (1996b) ] 


每 个 推进 部 件 被 模型 化 为 一 个 过 滤 系 统 ， 这 个 过 湾 系 统 指定 了 该 部 件 工作 和 故障 状态 的 行 
为 、 状 态 之 间 的 正常 和 故障 过 渡 以 及 过 渡 的 成 本 和 可 能 性 ， 如 图 8-24 所 示 。 在 图 8-24 中 ，open 
和 closed 是 正常 运转 状态 ，stuck open 和 stuck closed 是 故障 状态 。open 命令 具有 单位 成 本 ， 
会 导致 状态 从 closed 过 渡 到 open ，close 命令 与 此 类 似 。 故 障 过 渡 把 阀门 从 正常 运转 状态 过 渡 
到 一 种 故障 状态 ， 对 应 的 概率 为 0.01。 


Open Stuck 
0.01 、 


> 


Open 





一 一 -和 正常 过 渡 及 其 成 本 


0.01 “一 一 鳃 故障 过 渡 及 其 可 能 性 


Closed 0 Stuck Closed 
图 8-24 一 个 阀门 过 渡 系 统 模型 
[摘自 Williams and Nayak (1996a)] 
状态 行为 是 使 用 命题 逻辑 中 的 公式 来 指定 的 ， 但 是 状态 之 间 的 过 渡 是 利用 限定 时 态 命题 逻 
辑 中 的 公式 来 指定 的 。 限 定时 态 命题 逻辑 足以 对 以 下 情况 建 模 : 数字 硬件 、 使 用 定量 抽象 的 模拟 
硬件 (de Kleer and Williams 1991 ，Weld and de Kleer 1990) 以 及 使 用 实时 反应 系统 模型 的 实时 软 
件 (Manna and Pnueli 1992) 。 太 空 飞船 过 滤 系 统 模型 是 其 部 件 过 渡 系 统 的 组 合 ， 太 空 飞船 的 配置 
集合 是 部 件 状态 集合 的 交 积 。 我 们 假定 部 件 过 渡 系 统 是 同步 运行 的 ， 即 对 于 太空 飞船 的 每 次 过 
渡 ， 每 个 部 件 也 过 渡 一 次 。 
基于 模型 的 配置 管理 程序 使 用 以 上 过 渡 系 统 模型 来 完成 两 个 重要 的 行为 : 识别 太空 飞船 的 
当前 配置 〈 称 为 状态 估计 ME ) ; 把 太空 飞船 转移 到 一 种 实现 配置 目标 的 新 配置 ( 称 为 状态 重 置 
MR) 。ME 不 断 产生 相对 于 前 一 配置 的 所 有 太空 飞船 过 渡 ， 目 的 是 使 得 到 的 配置 与 当前 的 观察 结 
果 一 致 。 在 图 8-25 所 显示 的 情况 中 ， 左 侧 的 引擎 在 前 一 状态 中 正常 引发 了 ， 但 是 在 当前 状态 中 
并 没有 观察 到 任何 推力 。ME 的 任务 是 识别 太空 飞船 已 经 过 渡 到 哪 种 配置 。 图 中 显示 了 两 种 可 能 
的 过 渡 ， 对 应 于 主 引擎 之 一 的 阀门 故障 。 出 故障 的 阀门 〈stuck closed) 被 圈 了 出 来 。 很 多 其 他 
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过 渡 (包括 不 太 可 能 的 双重 故障 ) 也 可 以 导致 这 种 观察 结果 。 


一 


导致 “没有 推力 ”这 
一 观察 结果 的 可 能 的 





图 8-25 状态 估计 (ME) 
[摘自 Wiliams and Nayak (1996a) ] 

MR 的 任务 是 决定 要 发 送 给 太空 飞船 的 命令 ， 从 而 使 产生 的 过 渡 可 以 把 太空 飞船 置 于 一 种 实 
现下 一 状态 (如 图 8-26 所 示 ) 配置 目标 的 配置 之 中 。 图 8-26 显示 了 一 种 方式 识别 器 已 经 标识 出 
连 向 最 左 引擎 的 故障 阀门 的 情况 。MR 推断 如 果 打 开通 往 右 侧 主 引擎 的 适当 阀门 ， 那 么 在 下 一 状 
态 中 推力 将 恢复 正常 。 图 中 显示 了 可 以 实现 这 一 目标 的 两 种 配置 ， 圈 出 的 阀门 是 推荐 要 改变 状 
态 的 阀门 。 过 渡 到 上 边 的 配置 需要 的 成 本 较 低 ， 因 为 仅 需要 引发 必要 的 热 阀 ( 见 8.3.2 节 )。 通 
往 左 侧 引 警 的 阀门 被 关闭 以 满足 同一 时 间 至 多 引发 一 个 引擎 的 约束 。 在 ME 和 MR 中 使 用 太空 飞 
船 模型 保证 了 配置 目标 的 正确 实现 。 


提供 “正常 推力 ”的 
下 一 个 可 能 配置 





图 8-26 ”状态 重 置 (MRI) 
[摘自 Williams and Nayak (1996a) ] 

不 论 ME 还 是 MR 它们 都 是 反应 式 的 〈 克 6.4 节 )。ME 根据 前 一 配置 的 知识 和 当前 观察 到 的 
信息 推断 当前 配置 。MR 仅 考 虑 实现 下 一 状态 配置 目标 的 命令 。 基 于 此 ， 决 定 使 用 同步 模型 来 对 
组 件 过 湾 过 程 建 模 是 个 关键 。 另 一 种 可 选 的 方法 是 通过 交叉 来 对 多 个 组 件 过 渡 建 模 。 不 过 ， 交 叉 
可 能 使 当前 配置 与 目标 配置 之 间 的 距离 任意 化 ,无 法 满足 把 推断 限制 在 很 少 的 固定 数量 状态 之 
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内 的 要 求 。 如 果 底 层 软 硬 件 中 的 部 件 过 渡 不 是 同步 的 ， 那 么 Livingstone 的 建 模 假定 是 ， 所 有 的 过 
渡 交 叉 是 正确 的 而 且 可 以 实现 预期 的 配置 。 这 个 假定 在 Burton 中 被 删除 了 ，Burton 是 Livingstone 
的 继续 ， 它 的 规划 程序 决定 一 系列 动作 来 产生 所 有 预期 的 过 渡 〈Williams and Nayak 1997 )。 
NASA 在 一 项 名 为 “Tech Sat 21” 的 任务 中 使 用 了 Burton 体系 结构 。 

对 于 Livingstone 来 说 ，ME 和 MR 不 需要 分 别 产生 所 有 过 渡 和 控制 命令 。 相 反 ， 它 们 只 要 产 
生 最 可 能 的 过 渡 和 最 佳 的 控制 命令 。 这 是 通过 把 ME 和 MR 重组 为 组 合 优化 问题 而 实现 的 。 即 
ME 总 是 用 最 可 能 的 过 渡 来 延伸 导致 当前 配置 的 各 个 轨迹 ， 然 后 MR 识别 出 具有 最 低 预 期 成 本 的 
命令 ， 该 命令 把 太空 飞船 从 可 能 的 当前 配置 过 渡 到 实现 预期 目标 的 配置 。 我 们 可 以 使 用 一 种 冲 
突 导向 的 最 佳 优先 搜索 算法 来 高 效 地 求解 这 一 组 合 优化 问题 。 对 ME 和 MR 的 更 形式 化 的 描述 以 
及 对 搜索 和 规划 算法 的 详细 介绍 ， 请 参见 Williams and Nayak (1996a，1996b，1997) 。 


8.5 结语 和 参考 文献 


基于 规则 专家 系统 所 使 用 的 体系 结 架 是 产生 式 系 统 。 不 论 最 终 产 生 式 是 数据 驱动 的 还 是 目 
标 驱动 的 ， 这 种 软件 的 模型 都 是 产生 式 系统 产生 的 图 搜索 ( 见 第 6 章 ) 。 本 书 补充 材料 中 分 别 用 
Java、Prolog 和 LISP 实现 了 以 产生 式 系 统 为 基础 的 专家 系统 外 壳 。 这 些 系统 的 规则 可 以 包含 某 种 
形式 的 确定 性 尺度 ， 以 用 于 设计 基于 启发 的 搜索 。 

关于 本 章 内 容 的 资料 非常 多 ， 特 别 推荐 介绍 MYCIN 的 最 初出 版 物 ， 即 斯 坦 福 大 学 Buchanan 
和 Shortliffe (1984) 所 著 的 《Rule-Based Expert Systems》。 早期 其 他 的 一 些 专家 系统 ， 在 Water- 
man (1968) 、Michie (1979) 、Patl 等 (1981)、Clancy (1983) 以 及 Clancy 和 Shortliffe (1984a， 
1984b) 的 文章 中 有 介绍 。 对 于 数据 驱动 的 基于 规则 搜索 的 鲁 棒 性 实现 ， 推 荐 使 用 由 NASA 发 布 
的 CLIPS 软件 。 关 于 CLIPS 的 出 色 的 参考 书 是 Giarratano and Riley (1989, 2005)。 

关于 一 般 知 识 工 程 的 其 他 重要 书籍 包括 Hayes-Roth et al (1984) 所 著 的 《Building Expert 
Systems》、Waterman (1986) 所 著 的 《A Guide to Expert Systems》、Alty and Coombs (1984) 所 著 
的 《Expert Systems; Concepts and Examples》、Johnson 和 Keravnou (1985) 所 著 的 《Expert Sys- 
tems Technology: A Guide》、Negoita (1985) 所 著 的 《Expert Systems and Fuzzy Systems》、Jackson 
(1986) 所 著 的 《Introduction to Expert Systems》 以 及 Harmon et al (1988) 所 著 的 《Expert Sys- 
tems: Tools and Applications》。 也 可 以 参考 Ignizio (1991) 所 著 的 《Introduction to Expert Sys- 
tems》、Mockler 和 Dologite (1992 ) 所 著 的 《An Introduction to Expert Systems 》、jJohn Durkin 
(1994) 所 著 的 《Expert Systems : Design and Development》 以 及 人 工 智能 应 用 与 专家 系统 会 议 集 
IEA/AIE (2004 ~2007 ) 。 

因为 专家 系统 求解 方法 具有 较 强 的 领域 针对 性 ， 所 以 案例 研究 是 了 解 这 一 领域 知识 的 一 个 
重要 方法 。 这 方面 的 书籍 包括 Klahr 和 Waterman (1986) 所 著 的 《Expert Systems : Techniques ， 
Tools 和 Applications》、Keravnou 和 Johnson (1986) 所 著 的 《Competent Expert Systems : A Case 
Study in Fault Diagnosis》 、Smart 和 Langeland - Knudsen (1986) 所 著 的 《The CRI Directory of Ex- 
pert Systems》、Coombs (1984) 所 著 的 《Developments in Expert Systems》 以 及 Prerau (1990) 所 
著 的 《Developing and Managing Expert Systems》。 特 别 推荐 Durkin (1994) 所 著 的 《Expert Sys- 
tems: Design and Development)》, 因为 这 本 书 给 出 了 大 量 有 关 建 立 专家 系统 的 实践 性 建议 。 

目前 已 经 开发 出 了 很 多 知识 获取 技术 。 如 果 要 了 解 具体 方法 的 详细 信息 ， 请 参阅 McGraw 和 
Harbison-Briggs (1989 ) 所 著 的 《Knowledge Acquisition; Principles and Guidelines 》、 Chorafas 
(1990) 所 著 的 《Knowledge Engineering》、Mockler 和 Dologite (1992) 所 著 的 《An Introduction to 
Expert Systems》， 以 及 关于 专家 系统 的 其 他 书籍 和 论文 集 。 
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基于 案例 推理 是 从 Schank 小 组 在 耶鲁 大 学 所 做 的 早期 研究 以 及 他 们 对 脚本 的 研究 中 衍生 而 
来 的 ( 见 7.1.3 节 和 7.1.4 节 )。Kolodner (1993) 所 著 的 《Case - Based Reasoning》 是 对 这 一 领 
域 的 极 好 的 介绍 。Kolodner 和 她 的 研究 小 组 在 基于 案例 推理 领域 的 其 他 有 关 工 作 包括 (Kolodner 
1987，1991) 。Leake (1992，1996) 对 基于 案例 系统 中 的 解释 提出 了 一 些 重要 的 意见 。 现 在 已 经 
有 很 多 商业 软件 产品 支持 基于 案例 推理 技术 。 

基于 模型 推理 是 从 医药 、 逻 辑 电 路 和 其 他 数学 领域 的 显 式 表示 发 展 起 来 的 ， 一 般 用 于 教学 
目的 (deKleer 1975 、Weiss et al. 1977、Brown and Burton 1978、 Brown and VanLehn 1980、Gen- 
esereth 1982 、Brown et al，1982 ) 。Hamscher 等 人 (1992) 所 编辑 的 《Readings in Model-based Di- 
agnosis》、Davis et al (1982) 所 著 的 《Diagnosis Based on Description of Structure and Function》 和 
关于 多 故障 的 上 下 文 诊断 (deKleer and Williams 1987，1989) 介绍 了 该 领域 的 一 些 最 新 研究 。 
Skinner and Luger (1995) 以 及 其 他 一 些 主体 体系 结构 方面 的 作者 ( Russell and Norvig 1995 ， 
2003) 介绍 了 混合 专家 系统 ， 混 合 方法 通过 多 种 途径 的 相互 补充 来 求解 问题 ， 以 产生 一 种 综合 
效果 ， 发 挥 一 些 系 统 的 强 处 ， 弥 补 其 他 系统 的 不 足 。 

8.4 节 中 介绍 了 可 以 用 来 构建 通用 规划 程序 的 一 些 数据 结构 和 搜索 技术 。 进 一 步 的 资料 包括 
ABSTRIPS《〈 即 STRIPS 产生 器 关系 的 摘要 说 明 ) (Sacerdotti 1974) 、Warren 的 工作 (1976) 以 及 
用 于 非 线性 或 者 层次 规划 的 NOAH (Sacerdotti 1975，1977 ) 。 关 于 teleo - reactive 规划 的 更 多 信 
息 ， 可 参阅 15.3 节 以 及 Benson 和 Nilsson (1995) 。 

元 规划 是 一 种 不 仅 对 计划 而 且 对 规划 过 程 进行 推理 的 技术 。 这 在 专家 系统 方法 中 可 能 很 重 
要 。 参 考 读物 包括 关于 DENDRAL 的 Meta ~ DENDRAL (Lindsay et al 1980) 以 及 关于 MYCIN 的 
Teiresias (Davis 1982) 。 如 果 要 建立 与 世界 不 断交 互 的 计划 ， 也 就 是 对 变化 的 环境 建 模 ， 请 参见 
MceDermott (1978 ) 。 

进一步 的 研究 包括 使 用 黑板 的 机 会 规划 以 及 建立 在 面向 对 象 规 范 之 上 的 规划 (Smoliar 
1985) 。 在 《Handbook of Artificial Intelligence》 ( Barr and Feigenbaum 1989 ，Cohen and Feigenbaum 
1982) 和 《Encyclopedia of Artificial Intelligence》 (Shapiro 1992) 中 有 一 些 关 于 规划 研究 的 调查 。 
Russell 和 Norvig (1995) 中 介绍 了 非 线 性 规划 问题 和 偏 序 规划 问题 。 《 Readings in Planning》 (Al- 
len et al. 1990) 与 本 章 内 容 的 关系 也 很 密切 。 

我 们 介绍 的 来 自 NASA 的 基于 模型 推理 和 规划 算法 摘自 Williams 和 Nayak (1996a, 1996b, 
1997 ) 。 感 谢 Williams 和 Nayak 以 及 AAAI 出 版 社 人 允许 我 们 引用 这 些 材料 。 


8.6 习题 


1. 在 8.2 节 中 介绍 了 一 系列 用 来 诊断 汽车 故障 的 规则 。 为 这 一 应 用 确定 可 能 的 知识 工程 师 、 领 域 专家 以 及 
潜在 的 最 终 用 户 。 分 别 描述 一 下 对 这 几 类 人 的 期 望 和 要 求 。 

2. 以 练习 1 为 例 。 用 汉语 或 伪 代 码 创建 15 条 “如 果 …… 那 么 ”规则 (不 包括 8. 2 节 中 已 介绍 的 那些 规则 ) 
来 描述 这 一 领域 内 的 关系 。 创 建 一 幅 图 来 表示 这 15 个 规则 之 间 的 关系 。 

3. 考虑 练习 2 中 的 图 。 你 推荐 使 用 数据 驱动 搜索 还 是 目标 驱动 搜索 ? 宽度 优先 搜索 还 是 深度 优先 搜索 ? 怎 
样 用 启发 来 辅助 搜索 ?请 给 出 你 的 答案 并 说 明理 由 。 

4. 挑选 男 一 个 适合 使 用 专家 系统 的 领域 。 针 对 这 一 应 用 回答 练习 1 ~3。 

5, 利用 商业 外 壳 程 序 实现 一 个 专家 系统 。 这 样 的 程序 很 多 ， 有 用 于 个 人 计算 机 的 ， 也 有 用 于 大 型 机 的 。 特 
别 推荐 NASA 的 CLIPS (Giarratano and Riley 1989) 或 者 Sandia 国家 实验 室 的 JESS。 

6. 对 你 完成 练习 5 所 用 的 外 壳 加 以 评论 。 它 有 什么 优点 和 缺点 ? 你 想 如 何 改进 它 ? 它 适 合 你 的 问题 吗 ? 这 
个 工具 最 适合 什么 样 的 问题 ? 

7. 为 一 个 简单 的 电子 设备 创建 一 个 基于 模型 的 推理 系统 。 合 并 几 个 小 的 设备 以 组 成 一 个 较 大 的 系统 。 你 可 
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以 使 用 “如 果 …… 那 么 ”规则 来 描述 这 个 系统 的 功能 。 

8. 阅读 并 评价 论文 《Diagnosis based on description of structure and function》 (Davis et al. 1982 ) 。 

9. 阅读 一 篇 关于 利用 基于 模型 推理 教授 儿童 代数 〈 Brown and Burton 1978) 或 者 电子 技术 (Brown and Van- 
Lehn 1980) 的 早期 论文 。 对 这 种 方法 加 以 评论 。 

10. 为 你 选择 的 一 种 应 用 建立 一 个 基于 案例 推理 程序 。 可 以 选择 计算 机 科学 与 技术 课程 的 本 科 生 或 硕士 生 
需要 完成 的 项 目 。 

11. 使 用 商业 软件 包 ( 从 万 维 网 上 查找 ) 建立 练习 10 的 基于 案例 推理 系统 。 如 果 找 不 到 这 样 的 软件 包 ， 那 
么 可 以 考虑 使 用 Prolog、LISP 或 Java 来 建立 这 个 系统 。 

12. 阅读 并 评议 《Improving human decision making through case-based decision aiding》 (Kolodner 1991) 。 

13, 为 8.4 节 中 规则 4 到 7 所 描述 的 四 个 操作 符 pickup 、putdown 、stack 和 unstack 建立 必要 的 框架 公理 。 

14. 使 用 上 一 练习 中 的 操作 符 和 框架 公理 产生 图 8-19 所 示 的 搜索 空间 。 

15.8.4 节 使 用 框架 公理 从 状态 1 产生 了 状态 2， 说 明 如 何 使 用 增加 和 删除 列表 代替 框架 公理 来 完成 这 一 
过 程 。 

16. 使 用 增加 和 删除 列表 生成 图 8-19 所 示 的 搜索 空间 。 

17. 设计 一 个 自动 推理 控制 程序 ， 它 可 以 使 用 增加 和 删除 列表 生成 类 似 于 图 8-19 所 示 的 图 搜索 。 

18. 考虑 图 8-19 所 示 的 积木 世界 ， 再 举 出 两 个 不 兼容 的 〈 前 件 ) 子 目 标 。 

19. 阅读 有 关 ABSTRIPS 的 研究 资料 (Sacerdotti 1974) ， 说 明 它 如 何 处 理 规划 中 的 线性 问题 (也 就 是 不 兼容 
子 目标 问题 ) 。 

20. 在 8.4.3 节 中 介绍 了 一 种 由 Nilsson 和 他 的 学 生 在 斯 坦 福 大 学 建立 的 规划 程序 (Benson and Nilsson 
1995 ) 。teleo-reactive 规划 允许 使 用 可 持续 的 动作 。 为 什么 相对 类 似 STRIPS 的 规划 程序 来 说 ，teleo-reac- 
tive 规划 更 受 青睐 ? 用 Prolog、LISP 或 Java 建立 一 个 teleo-reactive 规划 程序 。 

21. 阅读 Williams and Nayak (1996，1996a) 关于 他 们 的 基于 模型 规划 系统 的 更 全 面 的 讨论 。 

22. 对 Williams and Nayak (1996a，973 页 ) 中 介绍 的 用 来 描述 太空 飞船 推进 系统 状态 过 渡 的 命题 演算 表示 
模式 进行 扩充 。 


第 9 章 不 确定 条 件 下 的 推理 


所 有 传统 到 辑 习惯 上 总 是 假定 当前 使 用 的 是 精确 的 符号 。 正 因为 如 此 ,传统 还 辑 难 以 应 用 
于 现实 生活 ， 而 只 是 存在 于 虚幻 的 想象 之 中 。 
一 一 伯 特 兰 . 罗素 
满足 于 事物 自身 允许 的 精确 度 ， 在 只 要 近似 解 就 能 满足 的 情况 下 而 不 去 寻求 精确 解 ， 这 是 
很 有 指导 意义 的 。 
一 一 亚 里 士 多 德 


适用 于 现实 世界 的 数学 定律 都 不 具有 确定 性 ， 具 有 确定 性 的 数学 定律 则 不 适用 于 现实 世界 。 
一 一 阿尔 伯 特 ， 爱 因 斯 坦 


9.0 简介 


在 第 一 部 分 、 第 二 部 分 、 第 三 部 分 ， 我 们 的 推理 过 程 遵 循 着 谓词 演算 所 用 的 推理 模型 : 可靠 
的 推理 规则 从 正确 的 前 提 推 出 新 的 正确 的 结论 。 但 是 ， 像 我 们 在 第 5 章 和 第 8 章 所 看 到 的 ， 许 多 
情况 下 这 种 方法 并 不 适合 ， 也 就 是 说 ， 我 们 必须 用 不 可 靠 的 推理 规则 从 形式 不 规则 和 不 确定 的 
证 据 中 得 出 有 用 的 结论 。 

用 不 可 靠 的 推理 从 不 完备 和 不 精确 的 数据 中 得 出 有 用 的 结论 不 是 不 可 能 的 ， 我 们 在 现实 生 
活 中 的 几乎 所 有 方面 都 做 到 了 这 一 点 。 我 们 从 不 明确 的 症状 得 出 正确 的 医疗 诊断 并 给 出 相应 的 
治疗 方案 ， 我 们 分 析 自 己 的 汽车 和 立体 声 系统 的 问题 ， 我 们 能 理解 用 涩 或 者 成 分 不 全 的 语句 ， 我 
们 能 通过 朋友 们 的 声音 或 者 姿势 来 辨认 他 们 ， 等 等 。 

为 了 演示 不 确定 条 件 下 推理 的 问题 ， 我 们 来 看 一 下 8.2 节 中 的 汽车 专家 系统 的 规则 2: 


如 果 
发 动机 不 旋转 而 且 灯 不 亮 ， 
那么 
电池 或 电缆 有 问题 。 
表面 上 ， 这 条 规则 看 起 来 像 一 个 用 在 可 靠 推理 〈 取 式 假 言 推理 ) 中 的 普通 的 谓词 关系 。 但 
是 ， 实 际 上 它 不 是 ， 它 本 质 上 是 启发 式 的。 一 种 可 能 情况 是 ， 电 池 和 电缆 是 好 的 ， 汽 车 只 是 发 动 
机 坏 了 ， 前 灯 烧 了 ， 虽 然 这 并 不 太 可 能 。 发 动机 不 能 工作 和 灯 不 亮 不 一 定 意味 着 电池 和 电缆 是 
坏 的 。 
有 趣 的 是 这 条 规则 的 逆 为 真 : 


如 果 
电池 或 电缆 有 问题 ， 
那么 
发 动机 不 旋转 而 且 灯 不 亮 。 
除非 有 超自然 的 力量 ， 和 否则 如 果 电池 坏 了 ， 灯 和 发 动机 都 不 能 工作 ! 
我 们 的 专家 系统 提供 了 一 个 反 绎 推理 的 例子 。 形 式 上 ， 反 绎 推理 认为 从 P 一 Q 和 Q 可 能 推 
出 P。 反 绎 推理 是 不 可 靠 的 推理 ,意思 是 说 在 前 提 为 真 的 任 一 解释 下 ， 结 论 不 一 定 为 真 ( 见 
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2.3 节 )。 

昌 然 反 绎 是 不 可 靠 的 ， 它 对 于 解决 问题 来 说 却 是 很 重要 的 。 前 面 的 “逻辑 上 正确 ”的 规则 
对 诊断 汽车 故障 不 是 很 有 用 是 因为 它 的 前 提 ， 电 池 坏 了 是 我 们 的 目标 ， 它 的 结论 是 我 们 看 到 的 
症状 ， 我们 必须 用 这 些 结论 来 进行 诊断 。 但 是 ， 这 条 规则 可 以 以 反 绎 的 形式 使 用 ， 就 像 许多 诊断 
型 专家 系统 中 的 规则 一 样 。 故 障 或 疾病 引起 蕴涵) 症状, 而 不 是 相反 的 方式 ,但 是 诊断 必须 
要 由 症状 往 加 找 原因 。 

在 知识 库 系统 中 ， 我 们 经 常 为 每 条 规则 添加 一 个 确信 因子 来 度量 结论 的 确信 和 度 。 比 如 ， 规 则 
P 一 Q(0. 9) 表示 “如 果 你 认为 P 为 真 ， 则 Q 为 真 的 可 能 性 为 90%”。 这 样 ， 启 发 式 的 规则 可 以 
清晰 地 表示 信念 的 确信 度 。 

专家 系统 推理 的 另外 一 个 问题 是 怎么 从 带 有 丢失 、 不 完全 、 或 者 不 正确 信息 的 数据 中 提取 
有 用 的 结果 。 我 们 可 以 用 确定 性 的 度量 来 反映 我 们 对 数据 质量 的 信念 ， 比 如 ， 断 言 the lights have 
full power (0.2) 说 明 前 灯 确 实 亮 了 ， 但 灯光 微弱 ， 几 乎 看 不 见 。 信 和 念 和 不 完全 的 数据 可 以 通过 
规则 传播 来 对 结论 加 以 限制 。 

在 本 章 中 ， 我 们 讨论 几 个 控制 反 绎 推理 和 不 确定 性 的 方法 ， 尤 其 是 在 知识 密集 型 的 问题 求 
解 中 。9. 1 节 主 要 讲 怎 样 扩展 基于 逻辑 的 形式 方法 来 解决 反 绎 的 问题 ， 包 括 由 真 值 维 护 算法 支持 
的 非 单 调 逻 辑 系统 的 运用 。9. 2 节 考 虑 逻辑 之 外 的 其 他 方法 ， 包 括 Stanford 确信 和 度 代 数 、 模 糊 推 
理 和 Dempster-Shafer 证 据 理论 。 这 些 简单 的 演算 是 为 了 解决 贝 叶 斯 建造 专家 系统 的 方法 的 复杂 性 
问题 而 提出 来 的 。 

9.3 节 介 绍 用 随机 的 方法 进行 不 确定 推理 。 这 些 技 术 是 建立 在 贝 叶 斯 对 事件 频率 推理 的 理论 
的 基础 上 的 ， 这 就 需要 这 些 事件 的 先 验 信息 。 我 们 用 对 图 形 模 型 的 介绍 总 结 本 章 ， 包括 贝 叶 斯 信 
念 网 络 以 及 可 观察 的 、 隐 式 马 尔 可 夫 模 型 。 有 关 用 于 学 习 的 随机 方法 将 在 第 13 章 介绍 。 


9. 1 基于 逻辑 的 反 绎 推理 


首先 ， 我 们 介绍 基于 轩 辑 的 方法 进行 反 绎 。 像 第 8 章 看 到 的 那样 ， 通 过 钦 辑 ， 一 条 条 的 知识 
精确 地 用 于 推理 中 ， 还 能 作为 导出 结论 的 部 分 解释 。 但 是 传统 逻辑 也 有 它 的 局 限 性 ， 尤 其 是 在 信 
息 丢 失 或 不 确定 的 情况 下 ， 在 这 些 情况 下 ， 传 统 推 理 过 程 可 能 就 难以 派 上 用 场 。9. 1 节 给 出 几 个 
传统 逻辑 的 扩展 让 它 来 支持 反 绎 推理 。 

9.1. 1 节 扩 展 逻 辑 来 让 它 描 述 充 满 变化 信息 和 信念 的 世界 。 传 统 的 数理 边 辑 是 单调 的 : 它 从 
一 个 公理 集合 开始 ， 假 定 它 为 真 ， 然 后 推出 结论 。 如 果 我 们 对 系统 增加 新 的 信息 ， 就 会 引起 真 命 
题 集 合 扩大 。 增 加 知识 永远 不 会 让 真 命题 集合 减 小 。 当 我 们 试图 为 建立 在 信念 和 假设 基础 上 的 
推理 建 模 的 时 候 ， 这 种 单调 性 就 会 带 来 问题 。 在 进行 不 确定 推理 的 时 候 ， 人 们 从 当前 的 信念 集合 
来 作 结 论 ， 但 是 ， 不 像 数 学 公理 那样 ， 当 更 多 信息 可 供 使 用 时 这 些 信念 连同 它们 的 结论 会 发 生 
变化 。 

非 单调 推理 解决 变化 信念 的 问题 。 非 单调 推理 系统 处 理 不 确定 性 是 通过 借助 于 不 确定 信息 
做 最 合理 的 假设 的 方式 来 实现 的 。 然 后 它 进行 推理 ， 好 像 这 些 假 设 是 真 的 。 稍 后 ， 信 念 会 改变 ， 
这 就 需要 对 从 那个 信念 得 出 的 结论 进行 重新 验证 。9. 1. 2 节 中 的 真 值 维护 算法 紧 接 着 就 会 被 用 来 
保持 知识 库 的 一 致 性 。 对 逻辑 的 其 他 反 绎 扩展 包括 9. 1.3 节 的 “最 小 模型 ”和 9. 1.4 节 的 “集合 
覆盖 法 ”。 


9. 1.1 非 单 调 推理 逻辑 
非 单调 性 是 人 类 求解 问题 和 常识 推理 的 一 个 重要 特征 。 在 大 量 的 规划 问题 中 ， 比 如 当 我 们 
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开车 去 上 班 的 时 候 ， 我 们 对 道路 和 交通 情况 作 大 量 的 假设 。 如 果 我 们 发 现 其 中 的 一 个 假设 被 扒 
翻 ， 或 许 是 道路 施工 或 者 是 路 上 的 交通 事故 ， 我 们 会 改变 我 们 的 计划 ， 寻 找 其 他 的 路 线 。 

使 用 谓词 逻辑 的 常规 推理 基于 三 个 重要 的 假设 。 首 先 ， 谓 词 描述 对 于 我 们 的 应 用 领域 来 说 
必须 是 充分 的 。 也 就 是 说 ， 解 决 问题 所 需 的 信息 都 能 被 表示 出 来 。 其 次 ， 信 息 库 必须 是 一致 的 ， 
也 就 是 说 ， 各 条 知识 不 能 相互 矛盾 。 最 后 ， 通 过 运用 推理 规则 ， 得 到 的 信息 单调 增长 。 如 果 上 述 
三 条 假设 中 的 任意 一 条 不 能 满足 ， 常 规 的 基于 逻辑 的 方法 就 不 起 作用 了 。 

非 单调 系统 解决 了 上 述 三 个 问题 。 首 先 ， 推 理 系统 经 常会 缺少 领域 知识 。 一 个 重要 的 问题 
是 : 假设 我 们 没有 关于 谓词 p 的 知识 ， 但 缺少 知识 意味 着 我 们 对 p 是 否 为 真 不 太 确 定 还 是 我 们 确 
信 not p 为 真 呢 ? 这 个 问题 可 以 用 许多 种 方式 来 回答 。Prolog (参见 14. 3 节 ) 采用 封闭 世界 假设 
把 推理 系统 不 能 证 明 为 真 的 都 认为 是 假 的 。 作 为 人 类 自身 ， 我 们 经 常 采用 其 他 的 办 法 来 假定 一 
些 事情 为 真 ， 除 非 它 可 以 被 明确 地 看 出 是 假 的 。 

另外 一 个 解决 缺少 知识 的 问题 的 办 法 是 对 为 真 的 情况 做 明确 的 假定 。 在 人 们 推理 的 时 候 ， 
我 们 假定 无 率 的 人 是 与 犯罪 无 关 的 人 。 我 们 可 能 会 进一步 假定 无 束 的 人 是 不 能 从 犯罪 中 获 益 的 
人 。 进 一 步 假 定 能 有 效 地 补充 我 们 缺少 的 知识 细节 ， 基 于 这 样 的 假定 我 们 能 扩展 我 们 的 推理 得 
到 新 的 结论 。 在 9. 1. 3 节 中 将 讨论 封闭 世界 假设 和 其 他 的 一 些 办 法 。 

人 的 推理 是 基于 现实 通常 的 情况 。 大 多 数 鸟 会 飞 。 父 母 通常 爱护 并 抚养 它们 的 孩子 。 我 们 的 
推理 是 建立 在 同 用 现实 世界 的 假设 进行 推理 相 一 致 的 基础 上 的 。 在 本 节 中 ,我 们 将 讨论 模 态 操 
作 符 的 扩充 ， 比 如 ，is consistent with 和 unless ， 用 它们 来 进行 基于 假设 的 推理 。 

传统 的 基于 逻辑 的 系统 所 需 的 第 二 条 假设 是 对 知识 的 推理 必须 是 一 致 的 。 对 于 我 们 推理 者 
来 说 ， 这 个 假定 给 我 们 很 大 的 限制 。 在 分 析 一 个 问题 时 ， 我 们 通常 会 对 一 个 情景 给 出 多 种 解释 ， 
并 假定 一 些 是 真 的 直到 其 他 假定 被 证 实 更 为 有 效 。 比 如 ， 在 分 析 飞 机 事故 的 原因 的 时 候 ， 空 难 专 
家 会 给 出 多 种 原因 ， 直 到 发 现 新 的 信息 才 排 除 (解释 过 去 ) 一 部 分 原因 。 有 和 多 种 可 能 情况 时 ， 
我 们 人 用 常识 来 试图 指导 推理 。 我 们 也 希望 逻辑 系统 能 给 出 多 种 可 能 的 假设 。 

最 后 ， 要 想 运用 逻辑 系统 就 必须 解决 知识 库 更 新 的 问题 。 这 里 有 两 个 问题 : 一 个 是 怎么 添加 
只 基于 假设 的 知识 ， 另 外 一 个 是 在 后 来 发 现 假 设 不 正确 的 时 候 怎么 办 。 对 于 第 一 个 问题 ， 可 以 
允许 添加 基于 假设 的 新 知识 。 这 些 新 知识 被 假定 是 正确 的 ， 因 此 它们 可 以 用 来 推出 新 的 知识 。 
这 种 做 法 的 代价 是 跟踪 基于 假设 的 所 有 证 据 和 推理 : 必须 做 好 准备 对 基于 假设 的 知识 进行 
调整 。 

由 于 结论 可 能 会 调整 ， 非 单调 推理 被 认为 是 可 废除 的 ， 也 就 是 说 ， 新 的 信息 可 能 会 使 前 面 的 
结果 失效 。 跟 踪 轴 辑 系统 中 各 步 推理 的 表示 和 搜索 程序 称 为 真 值 维 护 系 统 ， 或 TMS。 在 可 废除 的 
推理 中 ，TMS 保持 知识 库 的 一 致 性 ， 记 录 可 能 会 出 现 问题 的 结论 。 在 9. 1. 2 节 中 考虑 多 种 真 值 维 
护 的 办 法 。 现 在 考虑 能 让 传统 基于 逻辑 的 推理 系统 可 废除 的 操作 符 。 

在 实现 非 单调 推理 时 ， 我 们 可 以 用 操作 符 unless 来 扩展 我 们 的 逻辑 。unless 支持 在 证 据 不 
为 真 的 情况 下 基于 信念 的 推理 。 假 定 我 们 有 以 下 谓词 逻辑 语句 : 

p(X) unless q(X) 一 r(X) 

p(2) 

r(W) 一 s(W) 

第 一 条 规则 表明 如 果 p(X) 为 真 并 且 我 们 不 认为 9(X) 为 真 的 情况 下 我 们 可 以 推出 r(X)。 当 
这 些 条 件 满足 时 ， 我 们 可 以 推出 KKX) ,然后 用 r(X) ， 我 们 可 以 推出 s(X) 。 这 样 ， 当 我 们 改变 信 
念 ， 或 者 发 现 q(X) 为 真 的 时 候 ，r(X) 还 有 s(X) 就 要 收回 。 需 要 指出 的 是 ，unless 是 来 处 理 信 念 
的 问题 而 不 是 真 假 的 问题 。 所 以 ， 把 证 据 的 值 从 “未 知 或 者 被 认为 是 假 ” 变 成 “被 认为 或 者 已 
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知 为 真 ” 就 会 导致 我 们 收回 基于 这 些 信 和 念 的 推理 。 通过 把 逻辑 扩展 为 用 可 能 会 被 收回 的 信念 来 
推理 ， 我 们 把 非 单调 性 引入 到 了 系统 中 。 

上 面 讨论 的 推理 机 制 还 可 以 引入 默认 规则 (Reiter 1980) 。 如 果 我 们 用 p(X) unless ab p(X)_sr(X) 
来 代替 P(X) unless q(X) 一 r[(X) ， 其 中 ab p(X) 代表 abnormal p(X) ， 我 们 说 除非 我 们 有 p 的 一 
个 反常 的 实例 ， 比 如 一 只 翅膀 断 了 的 鸟 ， 我 们 可 以 有 以 下 推理 ， 如 果 X 是 一 只 鸟 ， 那么 X 
会 飞 。 

扩展 逻辑 系统 的 另外 一 个 模 态 操作 符 是 由 McDermott 和 Doyle (1980) 提出 的 。 他 们 用 模 态 
操作 符 M 来 扩展 一 阶 谓词 逻辑 ， 它 置 于 谓词 前 面 读 作 is consistent with (与 …… 相 一 致 )。 例 如 : 


VX good_student(X) ^ M study_hard(X) —> graduates(X) 


这 个 子 句 可 以 被 读 作 : 对 于 任意 X，X 是 一 个 好 学 生 ， 如 果 X 学 习 刻 苦 与 我 们 所 知 的 其 他 事 
情 相 一 致 的 话 ，X 就 可 以 毕业 。 当 然 ， 这 里 困难 的 是 对 与 我 们 所 知 的 其 他 事情 相 一 致 的 含义 进行 
定义 。 

首先 要 指出 ， 与 我 们 所 知 的 其 他 事情 相 一 致 这 句 话 可 能 是 不 可 判定 的 。 原 因 是 模 态 操作 符 
会 形成 一 个 已 知 不 可 判定 系统 的 超 集 ， 参 见 2.2.2 节 。 有 两 种 办 法 来 解决 不 可 判定 的 问题 。 首 
先 ， 我 们 可 以 用 失败 即 和 否定 的 证 明 来 说 明 相 一 致 。 在 我 们 的 例子 中 ， 试 图 寻找 not( study_hard 
(X)) 的 证 据 ， 如 果 不 能 证 明 X 不 学 习 ， 那 就 假定 X 学 习 。 在 类 似 于 Prolog 的 近似 于 谓词 逻辑 的 
系统 中 ， 我 们 经 常用 这 种 办 法 。 然 而 ， 这 种 办 法 会 不 恰当 地 缩小 我 们 解释 的 空间 。 

解决 “与 …… 相 一 致 ”问题 的 第 二 种 办 法 是 对 谓词 的 真 假 做 基于 启发 式 的 和 时 间 空 间 有 限 
的 搜索 。 例 中 的 谓词 study_hard( X) ， 如 果 没 有 相 矛 盾 的 证 据 ， 就 假定 它 为 真 ， 这 意味 着 可 能 会 
收回 毕业 这 个 结论 以 及 其 他 基于 此 得 出 的 结论 。 

用 is consistent with 操作 符 我 们 可 能 会 产生 相 矛 盾 的 结论 。 假 定 某 人 Peter 是 一 个 好 学 生 而 且 
喜欢 社团 活动 。 我 们 可 以 用 以 下 谓词 集合 来 进行 描述 

YXgood_student(X) ^ M study_hard(X) 一 graduates(X) 

YYparty_person(Y) ^ M not(study_hard(Y)) 一 not(graduates(Y)) 


good_student(peter) 
party_person(peter) 


我 们 没有 Peter 的 学 习习 惯 、 他 学 习 是 否 刻苦 等 进一步 的 信息 ， 但 是 我 们 使 用 这 些 子 句 可 以 
推出 Peter 毕业 和 Peter 不 毕业 。 

防止 出 现 这 种 矛盾 结论 的 办 法 是 记录 下 与 模 态 操作 符 is consistent with 绑 定 在 一 起 的 变量 。 
这 样 ， 一 旦 Peter 结合 到 谓词 study_hard 或 者 not( study_hard) 中 ， 系 统 就 会 防止 Peter 再 结合 到 
其 他 谓词 中 。 其 他 模 态 逻辑 系统 〈MeDermot 和 Doyle 1980) 做 法 更 为 保守 ， 它 防止 任何 可 能 矛 
盾 的 子 句 集 得 出 的 结论 。 我 们 可 以 产生 另外 一 个 不 规则 集 : 


VYvery_smart(Y) ^ M not(study_hard(Y)) 一 not(study_hard(Y)) 
VX not(very_smart(X)) A M not(study_hard(X)) — not(study_hard(X)) 


从 这 些 子 句 可 以 推出 一 个 新 的 子 句 : 
Vv Z M not(study_hard(Z)) 一 not(study_hard(Z)) 


模 态 操作 符 is consistent with 的 语义 的 进一步 扩展 解决 了 这 样 的 不 规则 推理 的 问题 。 一 个 扩展 就 
是 自 认 知 遇 辑 (Moore 1985 ) 。 
另外 的 一 个 非 单调 逻辑 系统 是 由 Reiter (1980) 提出 的 默认 有 逻辑。 默认 逻 辑 采 用 以 下 新 的 推 
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理 规 则 形式 : 
A(Z) ^: B(Z) 一 C(Z) 


读 作 : 如 果 A(Z) 可 被 证 实 并 且 它 与 我 们 所 知道 的 对 B(Z) 的 假定 相 一 致 ， 我 们 就 可 以 推出 结 
论 C(Z)。 

现在 看 起 来 默认 逻辑 与 刚 讨论 过 的 McDermott 和 Doyle 的 非 单调 逻辑 很 相似 。 这 两 者 之 间 的 
一 个 重要 不 同 是 推理 的 方式 。 在 默认 逮 辑 中 ， 这 些 特 殊 的 推理 规则 从 原始 的 公理 /定理 集合 中 推 
出 似 真 的 推论 。 每 个 推论 都 是 用 默认 逻辑 推理 规则 从 用 原始 公理 /定理 集合 表示 的 知识 推出 来 
的 。 这 样 ， 一 个 原始 知识 库 产 生 很 多 似 真 的 推论 就 是 很 自然 的 了 。 我 们 可 以 从 graduates 子 句 中 
看 出 来 : 


VX good_student(X) ^ : study_hard(X) — graduates(X) 
Vv Y party(Y) A : not(study_hard(Y)) 一 not(graduates(Y)) 


基于 原始 知识 集 每 个 子 句 都 能 推出 一 个 特有 的 似 真 的 推论 。 

模 态 逻辑 允许 用 似 真 的 推论 推出 的 任 一 定理 作为 进一步 推理 的 公理 。 这 就 必须 要 有 一 些 其 
他 的 策略 来 决定 哪 一 个 推论 用 来 进行 问题 求解 。 默 认 俱 辑 没有 涉及 怎样 从 一 个 知识 库 的 所 有 似 
真 推论 中 进行 选择 的 问题 。Reiter (1978 ) 、Reiter 和 Criscuolo (1981) 和 Touretzky 《1986) 进 一 
步 解决 了 这 些 问 题 。 

最 后 ， 非 单调 逻辑 推理 情况 ， 它 是 通过 继承 搜索 那些 继承 了 多 个 父 结 点 的 对 象 表示 时 产生 
的 。 前 面 提 到 的 喜欢 社团 的 好 学 生 Peter， 可 以 继承 好 学 生 的 属性 集 ， 也 就 是 说 他 很 可 能 毕业 。 
Peter 还 可 以 从 其 他 的 作为 社团 成 员 那 里 继承 属性 ， 这 种 情况 下 会 有 点 矛盾 ， 这 样 ， 他 就 不 能 
毕业 。 

非 单 调 推理 系统 的 主要 问题 是 怎样 有 效 地 来 修改 根据 变化 的 信念 得 出 的 结论 。 比 如 ， 如 果 
我 们 用 前 提 推出 s， 那么 除 掉 了 也 就 除 掉 了 对 s 和 其 他 用 s 得 出 的 结论 的 支持 。 除 非 由 一 个 独 
立 的 推理 集 来 支持 Ss， 否则 s 都 会 被 收回 。 在 坏 的 情况 下 ， 实 现 收回 这 一 过 程 需 要 我 们 在 信念 每 
次 变化 的 时 候 重新 计算 所 有 的 结论 。 接 下 来 将 要 讨论 的 真 值 维护 系统 将 提供 保持 知识 库 一 致 性 
的 机 制 。 


9. 1.2 真 值 维护 系统 


真 值 维护 系统 (TMS) 可 以 被 用 来 保持 一 个 推理 系统 的 逻辑 完整 性 。 像 在 前 面 指出 的 那样 ， 
每 当 用 知识 的 子 句 来 表示 的 信念 被 修改 时 ， 对 知识 库 中 的 条 目的 支持 情况 重新 计算 是 很 有 必要 
的 。 推 理 维护 系统 是 通过 存储 每 条 推理 的 理由 ， 再 重新 考虑 根据 新 的 信念 得 出 的 结论 的 支持 
情况 。 

解决 这 个 问题 的 一 个 办 法 是 对 在 3. 2. 2 节 中 提 到 的 回溯 算法 进行 修改 。 回 溯 算 法 是 在 基于 搜 
索 的 问题 求解 中 在 决策 点 遍历 所 有 可 能 路 径 的 一 种 系统 方法 。 但 是 ， 回 湖 算 法 的 主要 缺点 是 它 
系统 地 (和 盲目 地 ) 从 空间 的 死 端 状 态 退 回 ， 在 最 近 的 选择 中 寻找 可 能 路 径 。 这 种 方法 有 时 被 
称 为 时 序 回 湖 。 我 们 承认 时 序 回 湖 会 系统 地 检查 空间 的 所 有 可 能 情况 ,但 是 ， 它 遍历 的 方式 是 费 
时 的 、 低 效率 的 、 大 空间 的 和 无 效 的 。 

在 基于 逻辑 的 搜索 中 ,我们 真正 想 要 的 是 直接 回潮 到 空间 中 出 现 问题 的 点 ， 并 在 那个 状态 
对 解 进行 修正 的 能 力 。 这 种 方法 被 称 为 相关 性 指导 回 淹 。 我 们 来 看 一 个 非 单 调 推理 的 例子 。 我 们 
需要 找到 p， 它 不 能 由 直接 推理 得 到 。 但 有 一 个 似 真 的 假设 q9， 如 果 它 为 真 ， 可 以 推出 p。 所 以 
我 们 假定 9 然后 得 到 p。 我 们 的 推理 继续 ， 由 p 我 们 得 到 r 和 s。 我 们 继续 推理 ， 没 有 p、r 或 者 
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s 的 支持 ， 我 们 可 以 得 到 结论 ! 和 u。 最 后 ， 我 们 得 出 先前 的 对 q 的 假设 是 错误 的 。 然 后 我 们 要 
做 什么 呢 ? 

时 序 回 淹 会 重新 遍历 我 们 推理 的 步骤， 顺序 同 生成 的 时 候 正 好 相反 。 相 关 性 指导 回潮 会 立 
即 退 回 到 矛盾 信息 的 源头 ， 比 如 上 面 例子 中 的 对 q 的 假设 。 然 后 它 向 前 收回 p、r 和 s。 这 时 ， 
我 们 检查 了 和 s 是 否 与 p 和 9 无 关 。 这 是 因为 它们 是 从 不 正确 的 假设 推出 来 的 ， 这 并 不 意味 着 它 
们 不 被 其 他 支持 。 最 后 ， 因 为 t 和 Uu 是 在 没有 p、r 和 s 的 情况 下 得 到 的 ， 我 们 就 不 用 对 t+ 和 u 进 
行 调整 。 

要 想 在 推理 系统 中 运用 相关 性 指导 回 测算 法 ， 我 们 必须 : 

1) 把 每 条 结论 与 它 的 理由 联系 在 一 起 。 这 个 理由 说 明了 结论 得 到 的 过 程 。 它 必须 包括 所 有 
事实 、 规 则 和 用 来 推出 结论 的 假设 。 

2) 提供 一 种 机 制 ， 在 给 定 矛 盾 和 它 的 理由 时 ， 能 找到 导致 矛盾 的 理由 中 的 错误 假设 。 

3) 收回 错误 假设 。 

4) 产生 一 种 机 制 能 追溯 到 收回 的 假设 ,并 收回 基于 理由 中 收回 的 错误 的 假设 的 结论 。 

当然 ， 所 有 收回 的 结论 并 不 一 定 是 假 的 ， 所 以 要 重新 检查 它们 看 它们 在 没有 收回 的 子 句 的 
情况 下 能 和 否 被 证 实 。 我 们 接 下 来 给 出 两 种 建造 相关 性 指导 回溯 系统 的 办 法 。 

Jon Doyle (1979) 研制 了 基于 理由 的 真 值 维护 系统 《JTMS); ， 它 是 最 早 的 真 值 维护 系统 之 
一 。Doyle 是 最 早 明 确 地 把 真 值 维护 系统 、 命 题 和 理由 组 成 的 网 络 从 一 些 领域 中 的 推理 系统 分 离 
出 来 的 学 者 。 分 离 的 结果 是 JTMS 与 问题 求解 器 (或 许 是 自动 定理 证 明 程序 ) 进行 交互 ， 它 接收 
新 的 命题 和 理由 ， 然 后 提供 给 问题 求解 器 有 关 信息 ， 即 通过 现 有 理由 来 判断 哪个 命题 被 认为 是 
真 的 。 

JTMS 主要 有 三 个 操作 。 首 先 ，JTMS 检查 理由 网 络 。 这 个 检查 操作 可 以 由 问题 求解 器 的 查询 
来 触发 ， 比 如 : 我 是 否 要 相信 命题 p? 我 为 什么 要 相信 命题 p? 什么 假设 支持 命题 p? 

JTMS 的 第 二 个 操作 是 修改 相关 性 网 络 ， 由 问题 求解 器 提供 的 信息 引起 修改 。 修 改 包括 添 加 
新 的 命题 ， 添 加 或 删除 前 提 ， 增 加 了 矛盾， 对 命题 中 的 信念 进行 证 实 。JTMS 的 最 后 一 个 操作 是 更 
新 网 络 。 只 要 相关 性 网 络 发 生变 化 ， 这 个 操作 就 会 被 执行 。 更 新 操作 重新 计算 所 有 的 与 现存 理由 
相 一 致 的 命题 的 标签 。 

我 们 建造 一 个 简单 的 相关 性 网 络 来 演示 JTMS。 下 面 的 模 态 操作 符 M 在 9.1.1 节 中 提 到 过 ， 
它 放 在 谓词 前 面 读 作 is consistent with 〈 与 …… 相 一 致 ) 。 例 如 : 

YX good_student(X) ^ M study_hard(X) 一 study_hard(X) 


VY party_person(Y) 一 not (study_hard(Y)) 
good_student(david) 


我 们 现在 就 把 上 面 的 命题 集合 放 到 理由 网 络 中 去 。 

在 JTMS 中 ， 每 个 代表 一 个 信念 的 谓词 由 其 他 两 个 信念 集合 来 进行 关联 。 第 一 个 集合 是 对 于 
一 个 信念 来 说 支持 它 成 立 的 信念 集合 ， 在 图 9-1 中 被 标记 为 IN。 第 二 个 集合 是 对 于 一 个 信念 来 说 
不 支持 它 成 立 的 信念 集合 ， 被 标记 为 OUT。 图 9-1 表示 了 支持 study_hard( david) 的 理由 ， 它 由 
图 中 列 出 的 谓词 推导 出 来 。 图 9-1 中 的 符号 根据 Coodwin (1982) 改编 的 ， 图 9-2 给 出 了 解释 。 
图 9-2a 表示 理由 的 前 提 假 设 ， 图 9-2b 表示 支持 结论 的 命题 的 合 取 。 

由 图 9-1 网 络 中 的 信息 ， 问 题 求解 器 能 推出 study_hard( david) 是 成 立 的 ， 这 是 因为 前 提 假 
设 good_student( david) 被 认为 是 真 ， 并 且 与 好 学 生 学 习 刻 苦 这 个 事实 相 一 致 。 而 且 在 这 个 例子 
中 没有 证 据 或 隐 含 说 明 David 学 习 不 刻苦 。 

假定 我 们 加 入 前 提 假 设 party_person( david) 。 这 样 ， 我 们 就 会 得 出 not(study_hard ( da- 
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vig) ) ， 信 和 念 study_hard( david) 不 再 成 立 。 图 9-3 反映 了 这 种 情况 下 的 理由 。 需 要 指出 的 是 IN 和 
OUT 发 生 了 变化 (重新 标记 ) 。 


DCD— (Ss : XN 





D—O 


a ) 前 提 理 由 





b ) 两 个 信念 a 和 net b 的 并 来 支持 6 
图 9-1 相信 David 学 习 刻 苦 的 理由 网 络 图 9-2 图 9-1 的 符号 解释 
(Goodwin 1982) 

像 图 9-1 和 图 9-3 显示 的 那样 ，JTMS 并 不 直接 反映 原始 命题 集中 所 表示 的 谓词 关系 。JTMS 
是 一 个 简单 的 网 络 ， 它 只 考虑 原子 命题 与 原子 命题 的 非 之 间 的 关系 ， 并 把 它们 组 织 起 来 支持 信 
念 之 间 的 关系 。 整 个 谓词 连接 和 推理 机 制 ( VX、 
人 人 、V、 一 ， 等 等 ) 用 于 问题 求解 器 内 部 使 用 。 
McAllester (1978) 和 Martins 及 Shapiro (1988) 把 
TMS 和 问题 求解 器 合并 起 来 ， 使 它们 采用 单一 的 
表示 。 

JTMS 只 关心 信念 之 间 的 相关 情况 ， 而 不 关心 
信念 的 内 容 。 所 以 ， 我 们 可 以 用 形 如 ni ，nz ，… 的 
标识 符 来 代替 信念 ， 用 它们 来 表示 网 络 中 连接 的 结 
点 。 像 我 们 在 study_hard 例子 中 所 看 到 的 那样 ，IN 图 9-3 图 9-1 的 新 标记 ， 即 与 新 的 前 提 
和 OUT 代数 可 以 让 JTMS 对 信念 的 支持 情况 进行 Pary_person 《david) 相 联系 
推理 。 

总 结 一 下 ，JTMS 就 是 在 结 点 和 理由 的 集合 上 来 工作 的 。 结 点 代表 信念 ， 理 由 支持 结 点 上 的 
言 念 。 结 点 之 间 的 联系 是 用 IN 和 OUT 来 标记 ， 它 表示 了 连接 结 点 的 信念 状态 。 通 过 与 结 点 有 
IN 和 OUT 关系 的 结 点 的 情况 ， 我 们 可 以 推出 该 结 点 是 否 成 立 。JTMS 的 主要 操作 有 完成 检查 、 
修改 ， 以 及 更 新 上 面 提 到 的 操作 符 。 因 为 理由 的 检查 是 它 自身 回溯 理由 网 络 的 连接 来 实现 的 ， 我 
们 就 举 了 一 个 相关 性 指导 回溯 的 例子 。 想 了 解 JTMS 方法 的 更 多 信息 ， 请 参阅 Doyle (1983) 或 
Reinfrank (1989 ) 。 

-第 二 种 真 值 维护 系统 是 基于 假设 的 真 值 维护 系统 (ATMS) 。 虽 然 Martins 与 Shapiro (1983) 
提出 了 相近 的 词语 ， 但 基于 假设 这 个 名 词 是 由 deKleer (1984) 首先 提出 来 的 。 在 这 种 系统 中 ， 
网 络 中 结 点 的 标签 不 再 是 IN 和 OUT， 而 是 决定 推导 的 前 提 (假设 ) 集 。deKleer 还 区 分 了 两 种 
结 点 ， 前 提 结 点 可 以 通用 ， 而 由 问题 求解 器 通过 前 提 推 出 的 结 点 可 能 会 被 收回 。 

ATMS 比 JTMS 优越 的 地 方 就 体现 在 ATMS 提供 了 处 理 信念 的 多 种 可 能 状态 的 灵活 性 。 通 过 
对 信念 标记 支持 它 的 前 提 集 ， 信 和 念 就 不 会 只 是 单一 状态 了 (在 JTMS 中 所 有 的 结 点 被 标记 为 IN) ， 
而 是 一 组 可 能 的 状态 ， 所 有 支持 前 提 集 的 所 有 子 集 的 集合 。 创 建 不 同 的 信念 集 就 会 允许 对 选择 
不 同 前 提 得 出 的 结论 的 比较 ， 问 题 的 不 同 的 答案 的 存在 ， 还 允许 矛盾 的 发 现 和 恢复 。ATMS 的 不 
足 包 括 不 能 表示 自身 非 单调 的 前 提 集 ， 不 能 控制 问题 求解 器 。 有 关 解 决 问题 的 办 法 的 讨论 请 参 
阅 Dressler (1988) 和 Forbus and deKleer (1988)。 

ATMS 和 问题 求解 器 的 交互 同 JITMS 和 问题 求解 器 之 间 的 交互 很 相似 ， 都 有 检查 、 修 改 和 更 
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新 操作 。 惟 一 的 不 同 是 在 ATMS 中 不 再 是 单一 状态 的 信念 ， 而 是 所 有 支持 前 提 集 的 子 集 。ATMS 
当中 计算 的 目标 就 是 寻求 足以 支持 每 个 结 点 的 最 小 前 提 集 。 这 个 计算 就 是 从 前 提 的 标记 开始 ， 
合并 和 传播 标记 。 

接 下 来 给 出 从 Martins (1991) 改编 的 一 个 例子 。 假 定 我 们 有 如 图 9-4 的 ATMS 网 络 。 在 这 个 
网 络 中 ，m 、n。、ns 和 ns 是 前 提 ， 并 假定 为 真 。 这 个 相关 性 网 络 还 反映 了 这 样 的 关系 : 从 前 提 
ni 、na 我 们 得 出 ns ， 从 ns 我 们 得 出 m ， 从 m 我们 得 出 n;， 从 ns 和 ns 我 们 得 出 n。 ， 最 后 ,我 
们 从 ne 得 出 n,。 






{{nl,n2}, {n4}, {n4, n5}} 


图 9-4 ATMS 对 相关 性 网 络 中 结 点 的 标记 


图 9-5 表示 在 图 9-4 中 前 提 依 赖 关 系 的 超 集 / 子 集 格 。 这 个 子 集 格 提供 有 效 的 方式 让 我 们 直 
观 地 观察 前 提 集 的 组 合 空间 。 这 样 ， 如 果 我 们 怀疑 某 个 前 提 假 设 是 错 的 ， 就 能 知道 与 这 个 前 提 
相关 的 其 他 的 支持 前 提 子 集 。 比 如 ， 图 9-4 中 的 结 点 ns 会 被 图 9-5 中 {ni, na} 上面 的 所 有 集合 
支持 。 


nl, n2, n4, n5 





{} 
图 9-5 图 9-4 中 网 络 前 提 的 格 
注 ; 方 框 中 的 部 分 表示 不 一 致 的 层次 ， 改 编 自 Martins (1991) 

ATMS 的 推理 程序 通过 删除 已 发 现 不 一 致 的 结 点 的 前 提 集 来 消除 矛盾 。 比 如 ， 假 定 我 们 修改 
图 9-4 中 所 反映 的 推理 情况 ， 使 n, 成 为 矛盾 结 点 。 因 为 ns 的 标记 是 |n, ，nz} ， 这 个 前 提 集 就 
是 不 一 致 的 。 当 这 个 不 一 致 性 被 发 现 以 后 ， 构 成 图 9-5 中 {n, ，na} 的 超 集 的 前 提 集 都 会 被 标记 
为 不 一 致 ， 并 从 相关 性 网 络 中 删除 。 这 种 情况 下 ， 一 个 支持 n; 的 标记 就 会 被 删除 。 对 矛盾 删除 
算法 的 详细 描述 请 参阅 deKleer (1986 ) 。 

真 值 维护 系统 推理 方面 还 有 其 他 一 些 重 要 的 成 果 。 基 于 逻辑 的 真 值 维护 系统 (LTMS) 是 建 
立 在 McAllester (1978) 的 工作 的 基础 上 的 。 命 题 之 间 的 关系 是 由 子 句 来 表示 的 ， 这 些 子 句 可 以 
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用 来 演绎 任何 它们 所 描述 的 命题 的 真 假 。 另 外 一 个 方法 一 多 信念 推理 程序 (MBR) ， 同 ATMS 
推理 程序 很 相似 ， 只 不 过 MBR 的 问题 求解 程序 和 真 值 维护 系统 合并 成 了 一 个 单一 的 系统 。MBR 
是 建立 在 描述 知识 状态 的 名 叫 SWM * 的 欣 辑 语言 基础 上 的 。 每 一 知识 状态 由 一 个 描述 符 对 组 成 ， 
第 一 个 描述 符 描述 知识 库 ， 第 二 个 描述 知识 库 中 已 知 的 不 一 致 的 前 提 集 。 推 理 中 检查 不 一 致 性 
的 算法 可 以 在 Martins (1991) 找到 。 关 于 真 值 维护 系统 请 参见 《The Encyclopedia of Artificial In- 
telligence》 (Shapiro 1992 ) 。 


9. 1.3 基于 最 小 模型 的 逻辑 


在 前 面 的 章节 中 ， 我 们 用 儿 个 模 态 操作 符 扩 展 了 逻辑 ， 引 入 这 些 逻 辑 符 是 为 了 对 现实 世界 
常 的 情况 进行 推理 ， 放 松 对 于 知识 完备 性 的 要 求 ， 希 望 能 用 一 种 更 加 灵活 和 可 更 正 的 观点 来 
看 待 现实 世界 。 在 本 节 中 ， 我 们 将 给 出 专门 为 两 种 情况 设计 的 逻辑 : 第 一 种 情况 是 ， 给 定 一 个 断 
言 的 集合 ， 其 中 只 指定 了 为 真 的 断言 ; 第 二 种 情况 是 ， 由 于 问题 求解 的 本 质 ， 合 取 范 式 的 集合 通 
常 是 正确 的 。 第 一 种 情况 下 我 们 用 封闭 世界 假设 ， 对 第 二 种 情况 我 们 用 限定 (circumscription ) 。 
这 两 种 办 法 我 们 都 可 以 看 成 是 在 最 小 模型 上 的 推理 。 

在 2.3 节 中 ， 我 们 看 到 ， 模 型 就 是 对 所 有 变量 赋值 满足 谓词 表达 式 集合 S 的 解释 。 有 很 多 种 
方式 来 定义 最 小 模型 的 含义 。 我 们 定义 最 小 模型 为 对 所 有 变量 赋值 满足 谓词 表达 式 集合 S 的 模型 
当中 没有 比 它 更 小 的 那个 模型 。 

最 小 模型 思想 产生 的 非常 重要 的 原因 是 可 以 有 无 限 多 个 谓词 来 描述 现实 世界 中 的 某 种 情景 。 
比如 ， 我 们 可 以 考虑 有 无 数 的 谓词 来 描述 “农夫 - 狼 -山羊 -卷心菜 ”问题 (3.5 节 ， 练 习 2) 
的 情景 ， 船 没有 缓慢 下 沉 ， 河 的 两 岸 离 得 很 近 ， 划 船 就 可 以 过 去 ， 风 和 水 流 的 因素 不 予 考虑 。 当 
我 们 描述 一 个 问题 时 ， 我 们 不 愿意 去 做 过 多 无 用 的 描述 ,我 们 只 愿意 去 创建 与 问题 相关 并 且 是 
求解 问题 所 必需 的 谓词 。 

封闭 世界 假设 是 建立 在 世界 的 最 小 模型 的 基础 上 的 。 求 解 所 必需 的 谓词 都 会 被 创建 。 封 闭 
世界 假设 实现 否定 的 语义 。 比 如 ， 我 们 想 知道 一 个 学 生 是 否 是 一 个 班级 的 注册 成 员 ， 我 们 可 以 去 
察看 注册 数据 库 ， 如 果 在 数据 库 (最 小 模型 ) 中 没有 明确 地 列 出 来 ， 那么 他 或 她 就 不 是 注册 成 
员 。 类 似 地 ， 如 果 我 们 想 知道 两 个 城市 之 间 是 否 有 直达 的 班机 ， 我 们 会 察看 所 有 航班 的 列表 。 如 
果 直 达 航 班 不 在 列表 (最 小 模型 ) 中 ， 我 们 就 会 认为 不 存在 直达 航班 。 

封闭 世界 假设 认为 如 果 我 们 的 计算 机 系统 中 不 含有 p(X) 为 真 ， 那 么 not(p( X) ) 就 为 真 。 在 
14. 4 节 中 ， 将 会 看 到 封闭 世界 假设 支持 Prolog 推理 。 在 14.4 节 中 ， 我 们 还 将 看 到 在 使 用 最 小 模 
型 时 所 隐 含 的 三 个 假设 (公理) 。 这 三 个 公理 是 : 名 称 惟 一 性 ， 即 所 有 的 原子 都 有 惟一 的 名 称 ; 
封闭 世界 ， 关 系 的 惟一 实例 是 由 现 有 的 子 句 推出 来 的 ; 域 封闭 ， 即 域 中 的 原子 正好 是 模型 中 的 原 
子 。 当 这 三 个 条 件 都 满足 时 ， 最 小 模型 就 是 一 个 完整 的 基于 逻辑 的 规范 系统 。 如 果 公 理 不 能 满 
足 ， 就 需要 真 值 维护 算法 。 

如 果 封 闭 世 界 需要 给 定 组 成 模型 的 所 有 谓词 ， 限 定 (McCarthy 1980， Lifschitz 1984, McCar- 
thy 1986) 只 需要 给 定 问题 求解 相关 的 那些 谓词 。 在 限定 中 ， 公理 是 加 到 系统 中 去 的 ， 系 统 中 知 
识 库 的 谓词 必须 有 最 小 解释 。“ 元 谓词 ”( 有 关 问 题 定 义 的 陈述 谓词 ) 描述 特定 的 谓词 是 怎么 被 
解释 的 。 就 是 说 ， 它 们 划 界 或 者 限定 谓词 可 能 的 解释 。 

McCarthy (1980) 提出 了 限定 的 概念 ， 并 试 着 用 来 解决 传教 士 和 食 人 者 问题 。 这 个 问题 要 求 
问题 求解 器 给 出 六 个 物体 在 一 定 的 约束 条 件 下 用 船 过 河 的 一 系列 的 动作 描述 。McCarthy 给 出 了 问 
题 相关 的 大 量 的 情形 ， 有 些 情形 看 起 来 有 些 可 笑 ， 却 是 合理 的 。 其 中 的 一 部 分 ， 如 正在 下 沉 的 船 
或 风 的 因素 ， 在 前 面 提 到 过 。McCarthy 加 到 问题 描述 中 的 限定 公理 会 精确 地 对 问题 的 描述 加 以 
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限制 。 
作为 限定 的 另外 一 个 例子 ， 看 一 下 9. 4 节 面 向 对 象 常识 推理 中 的 一 个 谓词 表达 式 : 


YX bird(X) A not(abnormal( X) ) 一 flies(X) 


在 对 乌 会 飞 这 一 属性 进行 推理 时 ， 就 可 能 会 用 到 这 一 表达 式 。 但 是 怎么 限定 谓词 abnormal 的 含义 
呢 ? 是 乌 不 是 企 鳌 ， 是 翅膀 没 断 掉 ， 还 是 乌 没 有 死 ? 谓词 abnormal 的 含义 是 不 定 的 。 

在 一 阶 谓词 演算 中 用 公理 机 制 或 元 规则 集 来 产生 问题 域 的 谓词 。 元 规则 会 使 一 些 公式 产生 
最 小 扩展 。 例 如 ， 如 果 B 是 包括 全 局 知识 K 和 有 关 谓 词 p 的 领域 知识 A(p) 的 信念 系统 。 我 们 就 
会 认为 p 是 最 小 化 的 ， 即 满足 谓词 p(a) 并且 与 K 和 A(p) 相 一 致 的 原子 a 最 少 。 全 局 知识 K 连 
同 A(p) 和 限定 机 制 是 用 来 用 标准 的 一 阶 谓词 演算 来 推出 结论 。 这 些 结论 接着 再 添加 到 信念 系统 
B 中 。 

假设 是 在 8.4 节 的 积木 世界 中 ， 有 表达 式 : 

isblock( A) Aisblock(B) Aisblock(C) 
断言 A、B 和 C 是 积木 。 限 定 谓词 isblock 给 出 : 

VX(isblock(X)((X=A) V(X=B) V(X=C))) 


这 个 表达 式 断 定 仅 有 的 积木 是 A、B 和 C， 即 谓词 isblock 指定 的 积木 只 有 A、B 和 C。 以 类 似 的 
方式 ,谓词 : 


isblock( A) V isblock( B) 
可 以 被 限定 为 : 
VX(isblock(X)*-((X=A) V(X=B))) 


要 了 解 更 多 的 细节 ,包括 用 来 推出 结论 的 表示 模式 公理 (schema axiom) ， 请 参阅 MeCarthy 
(1980, 第 4 节 )。 

当 使 用 诸如 abnormal 的 操作 符 时 ， 限 定 很 像 封 闭 世 界 假设 ， 因 为 它 正好 产生 出 abnormal 能 支 
持 的 那些 变量 绑 定 。 但 是 限定 代数 允许 我 们 在 谓词 表示 上 扩展 这 个 推理 ， 因 为 ， 像 我 们 刚才 指出 
的 ， 如 果 我 们 有 谓词 p(X) V q(X) ， 我 们 可 以 限定 谓词 p 或 q9， 或 者 它们 两 个 。 于 是 ， 不 同 于 封 
闭 世界 假 设 ， 限 定 允 许 我 们 在 谓词 描述 集合 上 描述 可 能 的 例 示 。 

对 限定 逻辑 进一步 的 研究 可 以 在 Genesereth and Nilsson (1987) 中 找到 。Lifschitz (1986) 做 
出 了 重要 贡献 ， 他 提出 了 point - wise 限定 ， 最 小 模型 可 以 为 特定 的 谓词 和 它们 可 能 的 例 示 来 执 
行 ， 而 不 是 对 整个 域 。 另 外 一 个 重要 的 贡献 是 Perlis (1988) 提出 的 关于 一 个 缺少 知识 的 主体 的 
推理 。 更 多 讨论 可 以 参阅 Shapiro (1992)。 


9. 1.4 集合 覆盖 和 基于 逻辑 的 反 绎 


像 在 本 章 概 述 中 所 提 到 的 那样 ， 在 反 绎 推理 中 ， 我 们 给 定 规则 pq 和 9q 的 合理 信念 。 然 后 
我 们 希望 在 某 种 解释 下 得 到 谓词 p 为 真 。 反 绎 推理 是 不 可 靠 的 ， 但 因为 q 的 原因 ， 它 又 被 称 为 最 
佳 解释 推理 。 在 本 节 中 ， 我 们 将 讨论 反 绎 推理 域 中 解释 的 产生 。 

除了 已 经 提 到 的 反 绎 推理 的 方法 外 ， 人 工 智能 的 研究 者 还 用 集合 覆盖 和 基于 逻辑 的 分 析 的 
办 法 。 集 合 履 盖 的 办 法 试图 解释 这 样 的 作法 ， 即 对 某 些 可 解释 的 假设 采用 可 废除 的 信念 ， 因 为 它 
解释 了 用 别 的 方法 不 可 解释 的 集合 。 基 于 逻辑 的 办 法 描述 反 绎 的 规则 连同 它们 合法 形式 的 定义 。 

集合 履 盖 法 定义 一 个 反 绎 的 解释 为 谓词 的 覆盖 ， 谓 词 通 过 描述 假设 来 描述 现象 。Reggia et 


用 9 舍 不 确定 将 伴 下 朱 扒 理 243 





al. (1983) 描述 了 一 个 基于 因果 关系 R 的 覆盖 ，R 是 集合 | Hypotheses X Observations} 的 子 集 。 
于 是 ， 现 象 集合 S2 的 反 绎 解释 是 足以 引起 S2 的 另 一 个 假设 集合 S1 。 根据 集合 覆盖 法 ， 最 佳 解 
释 是 S2 的 最 小 集合 覆盖 。 这 种 方法 的 缺点 是 它 把 解释 约 简 为 原因 假设 (从 S1 中 ) 的 一 个 简单 
列表 。 在 有 相关 的 或 交互 作用 的 原因 假设 的 情况 下 ， 或 者 需要 理解 原因 交互 作用 结构 或 次 序 时 ， 
集合 覆盖 模型 就 是 不 充分 的 。 

基于 逻辑 的 办 法 则 是 建立 在 解释 的 更 高 级 的 概念 的 基础 上 。Levesque (1989) 定义 某 些 前 面 
无 法 解释 的 现象 集合 O 为 假设 集 H 中 与 主体 背景 知识 K 一 致 的 最 小 集合 。 假 设 H 连同 背景 知识 
K 必须 能 推导 解释 出 D。 更 形式 化 一 点 ; 

abduce(K, O) =H， 当 上 且 仅 当 ， 

1) KK 不 能 推导 解释 出 O; 

2) HUK 能 推导 解释 出 O; 

3) HUK 是 一 致 的 ， 并 且 ; 

4) 不 存在 H 的 子 集 有 属性 1、2 和 3。 

需要 指出 的 是 ， 总 的 来 说 ， 可 能 会 存在 许多 假设 集 ， 也 就 是 说 ， 对 一 个 给 定 的 现象 0 可 能 
会 有 很 多 潜在 的 反 绎 解释 集 。 

基于 逻辑 的 反 绎 解释 的 定义 暗示 了 发 现 知识 库 系 统 中 的 内 容 的 解释 有 相应 的 机 制 。 如 果 可 
解释 的 假设 必须 能 推导 解释 出 现象 O， 则 建立 一 个 完整 的 解释 的 方式 就 是 从 O 向 后 推理 。 像 3.3 
节 和 8.2 节 那 样 ， 我 们 可 以 从 O 的 合 取 范 式 开始 ， 从 结果 推 回 祖先 。 

这 种 后 向 式 推理 的 办 法 是 很 自然 的 ， 因 为 支持 后 向 推理 的 条 件 可 以 被 认为 是 因果 律 ， 于 是 
我 们 得 出 因果 知识 在 产生 解释 时 起 关键 作用 。 这 个 模型 是 方便 的 ， 因为 它 很 好 地 符合 了 人 工 智 
能 界 已 有 的 经 验 ， 演绎 的 后 向 式 推理 和 计算 模型 。 

还 有 很 多 寻找 反 绎 解释 的 完整 集合 的 方法 。 基 于 假设 的 真 值 维护 系统 ATMS ( deKleer 1986， 
9.2.3 节 ) 包含 了 计算 最 小 支持 集 的 算法 ， 支 持 集 是 能 逻辑 上 推导 出 给 定 命题 的 命题 ( 非 公 理 ) 
集合 。 为 了 找到 一 个 现象 集合 的 所 有 可 能 的 反 绎 解释 ， 我 们 只 在 支持 集 上 采用 Cartesian 产生 式 。 

基于 逻辑 的 反 绎 具有 简单 、 精 确 、 方 便 的 优点 ， 它 还 有 两 个 相应 的 缺点 高 的 计算 复杂 性 和 
语义 缺陷 。Selman 与 Levesque (1990) 发 现 反 绎 任务 的 复杂 性 与 计算 ATMS 的 支持 集 的 复杂 性 相 
似 。ATMS 问题 是 NP - hard 的 标准 证 明 依 赖 于 有 指数 个 解 的 问题 实例 的 存在 性 。Selman 与 
Levesque 通过 询问 是 否 找到 也 是 NP - hard 的 更 小 的 解 集合 的 方法 来 避免 潜在 的 解 的 复杂 性 问题 。 
给 定 Hom 子 句 的 知识 库 ， 见 14. 2 节 ，Selman 与 Levesque 给 出 了 一 个 算法 ， 找 到 一 个 解释 的 阶 为 
O(k * m ， 其 中 K 表示 命题 变量 的 数量 ，n 表示 文字 出 现 的 数目 。 但 是 ， 当 对 要 找 的 解释 的 种 类 
加 以 限制 时 ， 问 题 就 又 变 为 NP-hard， 即 使 是 对 Hom 子 句 。 

Selman 与 Levesque (1990) 分 析 得 出 的 令 人 感 兴趣 的 结论 是 这 样 一 个 事实 : 对 反 绎 任务 增加 
一 定 的 目标 或 限制 会 使 计算 变 得 很 难 。 从 人 类 问题 求解 的 观点 来 看 ， 这 个 增加 的 复杂 性 有 些 让 
人 不 解 : 人 们 通常 假想 对 相关 解释 的 搜索 进行 进一步 的 限制 会 使 任务 变 容易 。 在 基于 逻辑 的 模 
型 中 反 绎 任务 变 难 的 原因 在 于 它 只 是 对 问题 的 额外 的 子 句 有 影响 ， 而 对 问题 求解 有 用 的 额外 的 
结构 没有 影响 。 

基于 逻辑 的 模型 中 解释 的 发 现 是 以 找到 具有 一 定 逻 辑 属性 的 假设 集 为 特征 的 。 这 些 属性 ， 
包括 与 背景 知识 的 一 致 性 和 能 推导 解释 出 要 解释 的 现象 ， 是 指 抓 住 解释 的 必要 条 件 : 可 解释 的 
假设 集成 为 反 绎 解释 所 必需 满足 的 最 小 条 件 。 这 种 办 法 的 支持 者 认为 通过 增加 附加 限制 ， 这 种 
办 法 可 以 通过 扩展 来 提供 好 的 或 合理 的 解释 的 特征 。 

产生 有 质量 的 解释 的 一 个 简单 的 策略 是 定义 反 绎 的 事实 子 句 集 ， 也 就 是 说 ， 候 选 假设 必须 
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选 上 。 这 个 子 句 集 允许 搜索 事先 限定 一 些 因素 ， 这 些 因素 在 被 选 域 中 是 潜在 的 原因 。 另 外 一 个 策 
略 是 增加 评价 和 挑选 解释 的 选择 标准 。 人 们 已 经 提出 了 很 多 不 同 的 选择 标准 ， 包 括 集合 最 小 性 ， 
它 是 指 当 两 个 假设 都 是 一 致 的 且 都 能 推导 解释 出 要 解释 的 现象 时 ， 如 果 第 一 个 假设 包含 于 第 二 
个 假设 ， 则 选择 第 一 个 假设 。 简 单 性 标准 优先 选择 简单 的 假设 集 ， 即 含有 更 少 的 通用 假设 的 假设 
集 (Levesque 1989) 。 

最 小 性 和 简单 性 都 可 以 看 成 是 奥 卡 姆 剃刀 的 应 用 。 不 幸 的 是 ， 集 合 最 小 性 作为 搜索 修剪 工 
具 能 力 有 限 ， 它 只 去 掉 是 已 有 解释 的 超 集 的 最 终 解 释 。 只 是 简单 性 自身 作为 搜索 选择 标准 有 效 
性 也 值得 怀疑 。 建 立 这 样 的 例子 是 不 难 的 ， 需 要 大 的 解释 集 的 解释 优先 于 简单 却 浅显 的 解释 集 。 
实际 上 ， 复 杂 的 因果 机 制 通常 需要 大 的 假设 集 ， 但 是 ， 这 种 因果 机 制 的 反 绎 可 以 被 证 实 ， 尤 其 是 
当 这 个 机 制 的 某 个 关键 元 素 的 存在 性 已 经 被 现象 证 实 的 情况 下 。 

解释 选择 的 另外 两 种 机 制 也 很 令 人 感 兴趣 ， 因 为 它们 不 仅 考虑 了 假设 集 的 属性 ， 还 考虑 了 
证 明 过 程 的 属性 。 第 一 个 机 制 ， 基 于 代价 的 反 绎 对 于 潜在 的 假设 和 规则 赋 一 个 代价 值 。 解 释 的 总 
代价 是 用 假设 的 代价 加 上 用 来 反 绎 假设 的 代价 计算 出 来 的 。 竞 争 假设 集 然后 根据 代价 来 进行 比 
较 。 这 种 方案 附带 的 自然 的 启发 是 概率 (Chamiak and Shimony 1990) 。 假 设 的 代价 高 代表 不 太 可 
能 的 事件 ， 规 则 的 代价 高 代表 不 太 可 能 的 因果 机 制 。 基 于 代价 的 度量 可 以 与 最 小 代价 搜索 算法 
结合 起 来 ， 如 最 佳 优先 搜索 算法 ， 人 参见 第 4 章 ， 这 种 算法 大 大 降低 了 任务 的 计算 复杂 性 。 

第 二 个 机 制 ， 基 于 一 致 性 选择 (coherence-based selection) ， 当 要 解释 的 不 是 一 个 命题 而 是 命 
题 集 合 时 尤其 适用 。Ng 与 Mooney (1990) 认为 在 分 析 自 然 语言 文本 过 程 中 选择 解释 时 一 致 性 度 
量 比 简单 性 要 重要 。 他 们 把 一 致 性 定义 为 证 据 图 的 一 个 属性 ， 图 中 任意 对 现象 之 间 有 更 多 连接 
和 更 少 分 开 的 部 分 的 解释 是 更 一 致 的 。 一 致 性 标准 是 基于 这 样 一 个 启发 式 的 假设 : 我 们 要 解释 
的 是 一 个 单一 的 事件 或 者 有 多 个 方面 的 动作 。 自 然 语言 理解 中 一 致 性 度量 (coherence metric) 的 
证 明 是 基于 Gricean 幸运 (felicity) 条 件 ， 即 说 话 者 的 职责 是 要 一 致 和 相关 (pertinent) (Grice 
1975 ) 。 我 们 不 难 把 他 们 的 论点 扩展 到 其 他 情形 中 去 。 例 如 在 诊断 中 ， 包 含 初始 要 解释 的 事情 的 
现象 被 综合 在 一 起 ， 因 为 它们 被 认为 与 同一 个 潜在 的 故障 或 失败 机 制 相关 。 

在 9.1 节 中 ， 我 们 讨论 了 传统 逻辑 的 扩展 ， 以 支持 不 确定 或 缺少 数据 的 推理 。 我 们 接 下 来 讨 
论 非 逻 辑 的 方法 在 不 确定 情况 下 进行 推理 ， 包括 Stanford 确信 度 代 数 、 模 糊 集 推理 和 Dempster- 
Shafer 证 据 理 论 。 


9.2 反 绎 : 逻辑 之 外 的 办 法 


9. 1 节 中 基于 逻辑 的 办 法 对 许多 应 用 尤其 是 专家 系统 来 说 非常 麻烦 ， 难 于 处 理 。 许 多 早期 的 
专家 系统 ( 像 PROSPECTOR) 试图 采用 另外 一 种 办 法 ， 即 9.3 节 中 介绍 到 的 用 贝 叶 斯 方法 进行 
反 绎 推理 。 这 种 办 法 的 局 限 性 在 于 对 独立 性 的 要 求 ， 对 统计 数据 不 断 地 更 新 以 及 进行 随机 推理 
所 需 的 演算 。 另 一 种 减轻 这 些 限 制 的 推理 机 制 在 斯 坦 福 大 学 用 于 开发 早期 的 专家 系统 ,包括 MY- 
CIN (Buchanan and Shortliffe 1984 ) 。 

当 人 类 专家 在 用 启发 式 的 知识 进行 推理 时 ， 他 们 能 够 给 出 对 结论 的 充分 有 效 的 估计 。 人 们 
用 类 似 “ 很 有 可 能 ”、“ 不 太 可 能 ”"、“ 几 乎 是 ”、 或 “可 能 的 ”这 样 的 词语 来 度量 结论 的 确信 和 度 。 
这 些 度量 显然 没有 基于 对 概率 的 精确 分 析 ， 而 是 他 们 自身 从 对 问题 推理 的 经 验 中 得 出 的 启发 式 
信息 。 在 9.2 节 中 将 介绍 三 种 反 绎 推理 的 方法 理论 ， 即 Stanford 确信 和 度 理论 、 模 糊 推理 和 Demp- 
ster-Shafer 证 据 理论 。 在 9. 3 节 中 用 随机 的 办 法 来 进行 不 确定 性 推理 。 


9. 2. 1 .Stanford 确信 和 度 代 数 
Stanford 确信 度 理论 是 建立 在 很 多 现象 的 基础 上 的 。 首 先 在 传统 的 概率 论 中 ， 一 个 关系 的 支 
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持 它 的 确信 度 和 不 支持 它 的 确信 和 度 的 和 加 起 来 为 1。 但 是 ， 现 实 中 常 有 这 种 情况 一 “专家 可 能 对 
某 个 关系 为 真 的 确信 和 度 为 0.7， 对 于 关系 为 假 的 情况 则 毫 无 概念 ， 不 置 可 否 。 另 外 一 个 支撑 确信 
度 理论 的 假设 是 规则 中 含有 的 知识 远 比 计算 确信 度 的 代数 重要 。 确 信和 度 的 度量 要 与 专家 对 结论 
的 非 形式 化 的 估计 相 一 致 ， 比 如 “ 它 可 能 为 真 ",“ 它 几乎 为 真 ", 或 者 “ 它 不 太 可 能 ”。 

Stanford 确信 度 理论 对 建立 确信 和 度 的 度量 做 了 一 些 简单 的 假定 ， 在 推理 时 也 有 一 些 简 单 的 规 
则 来 合并 这 些 确信 和 度 。 第 一 个 假定 是 把 一 个 关系 的 支持 度 和 不 支持 度 分 开 : 


MB(H | E) 称 为 给 定 证 据 E 时 假设 HH 的 可 信和 度量 。 
MD(H | E) 称 为 给 定 证 据 E 时 假设 H 的 不 可 信 度 量 。 


现在 或 者 


当 MD(HI E) =0 时 1>MB(H1 E) >0, 或 者 
当 MB(HI E) =0 时 1>MD(HI1 E) >0 


这 两 个 度量 互相 限制 ， 给 定 的 证 据 对 于 特定 的 假设 或 者 支持 ,或 者 不 支持 ， 这 是 确定 性 理论 同 概 
率 论 的 一 个 重要 不 同 。 一 旦 可 信和 度量 和 不 可 信 度 量 的 联系 建立 起 来 ， 它 们 就 能 连接 在 一 起 ， 这 是 
通过 下 面 的 公式 实现 的 : 

CF(HI E) =MB(HI E) - MD(H1 E) 


当 确 信和 度 因子 (CF) 接近 于 1 时 ,证据 倾 向 于 支持 假设 ， 当 CF 接近 于 -1 时, 证据 倾向 于 
不 支持 假设 ， 当 CF 在 大 约 为 0 时 ， 表 明 只 有 极 少 的 证 据 支持 或 者 不 支持 假设 ， 或 者 支持 或 者 不 
支持 假设 的 证 据 大 体 相当 。 

当 专 家 要 建 一 个 规则 库 时 ， 它 们 必须 为 每 一 条 规则 确定 一 个 CF。CF 反映 了 专家 对 这 条 规 
则 的 可 信赖 程度 的 信心 。 确 信 度 的 度量 可 以 被 用 来 调整 系统 的 性 能 ， 虽 然 度量 的 小 的 改变 对 整 
个 系统 的 总 体 运 行情 况 几乎 没有 多 大 影响 。 确 信和 度 的 度量 的 这 个 作用 验证 了 “知识 产生 力量 ” 
这 甸 话 ， 也 就 是 说 ,完整 的 知识 能 对 正确 的 诊断 提供 最 好 的 支持 。 

每 条 规则 的 前 提 由 and、or 和 一 些 事实 组 成 。 当 用 到 产生 式 时 ， 前 提 中 每 个 条 件 的 确信 和 度 就 
会 按照 如 下 方式 被 合并 成 对 整个 前 提 的 确信 度 。 对 规则 的 前 提 P1 和 P2 : 

CF(P1 and P2) =MIN( CF(P1), CF( P2)) 

CF(P1 or P2) =MAX( CF( P1), CF( P2)) 
用 上 面 的 规则 合并 后 的 前 提 的 CF 接着 乘 上 规则 自身 的 CF 就 得 到 规则 结论 的 CF。 例 如 ， 知 识 库 
中 的 规则 : 

(P1 and P2) or P3—,R1(0. 7)and R2(0. 3) 
其 中 P1 、P2 和 P3 是 前 提 ，R1 和 R2 是 规则 的 结论 ， 确 信和 度 CF 分 别 为 0.7 和 0.3。 如 果 规 则 所 
有 的 前 提 是 完全 确定 的 ， 当 这 条 规则 被 用 来 代表 专家 对 结论 的 确信 和 度 时 ， 这 些 数 字 就 会 附加 到 
规则 上 。 如 果 当 前 系统 已 经 产生 了 P1 、P2 和 P3 ， 确 信和 度 CF 分 别 是 0. 6、0.4 和 0.2，R1 和 R2 
这 时 的 确信 和 度 CF 就 是 0.28 和 0.12。 下 面 是 计算 过 程 : 

CF(P1(0. 6)and P2(0. 4)) = MIN(0. 6, 0. 4) =0. 4 

CF( (0. 4) or P3(0. 2)) = MAX({0, 4, 0, 2) =0. 4 


R1 的 确信 和 度 CF 是 0.7， 所 以 R1 添加 到 特例 知识 集中 去 的 时 候 的 确信 和 度 CF 为 (0.7) x 
(0.4) =0.28。 
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R2 的 确信 度 是 0.3， 所 以 R2 添加 到 特例 知识 集中 去 的 时 候 的 确信 度 CF 为 (0.3) x 
(0.4) =0.12。 

当 两 个 或 多 个 规则 支持 同一 结论 R 时 ， 怎么 来 合并 这 么 多 个 CF 呢 ? 这 个 度量 生成 规则 反映 
了 确信 和 度 理论 与 概率 论 中 合并 独立 证 据 时 度量 相 乘 的 相似 之 处 。 循环 运用 这 条 规则 ， 我 们 可 以 
合并 支持 结论 R 的 任意 数目 的 规则 。 假 定 此 时 结论 R 的 当前 的 确定 度 为 CF(R1) ， 以 前 没 用 到 
的 规则 也 得 出 结论 R， 确 信 度 为 CF( R2) 。 那 么 R 的 新 确定 度 CF 用 下 面 的 公式 来 计算 ， 


当 CF( R1) 和 CF( R2) 都 为 正 时 CF(R1) + CF( R2) -(CF(R1) x CF( R2)) 

当 CF(R1) 和 CF( R2) 都 为 负 时 CF(R1) + CF( R2) +(CF(R1) x CF(R2)) 
其 他 情况 下 ， 

CF(R1) + CF(R2) 
1-MINCTCF(RT) TCF(R2T) 
其 中 符号 1 X1 代表 X 的 绝对 值 。 

除了 容易 计算 之 外 ， 这 些 合并 规则 还 有 其 他 一 些 好 的 特性 。 首先 ， 计 算出 来 的 CF 总 是 在 1 
和 -1 之 间 。 第 二 ， 在 合并 符号 相反 的 CF 时 ， 它 们 互相 削弱 ， 这 是 我 们 想 要 得 到 的 。 第 三 ， 合 
并 后 的 CF 是 一 个 单调 递增 〈 递 减 ) 的 函数 ， 这 也 是 我 们 合并 证 据 时 所 期 望 的 。 

最 后 ，Stanford 确信 度 代数 中 对 确信 度 的 度量 是 人 们 对 于 症状 或 起 因 的 概率 值 的 主观 估计 。 
像 在 5.4 节 中 指出 的 那样 ， 在 贝 叶 斯 方法 中 ,如果 A、B 和 C 都 对 DD 有 影响 ， 当 我 们 要 对 D 进 
行 推理 时 ,我 们 需要 区 分 和 适当 地 合并 所 有 的 先 验 和 后 验 概率 ,包括 P( D)、P(DI A) 、P(D Il 
B)、P(D1 C) 、P(D1 AB) ， 等 等 。Stanford 确信 度 代数 允许 把 所 有 的 关系 合成 一 个 确信 和 度 CF 
来 附加 到 规则 上 ， 即 if A and B and C then D(CF) 。 这 种 简化 的 办 法 更 好 地 反映 了 人 类 专家 是 怎 
么 合并 和 传播 信念 的 。 

确信 和 度 理论 可 能 会 被 认为 过 于 特殊 。 昌 然 它 有 形式 代数 定义 ， 但 是 确信 度 度 量 的 含义 与 形 
式 概率 论 不 完全 一 致 。 另 一 方面 ， 确 信 度 理论 并 不 是 用 来 做 “正确 ”的 推理 的 ， 而 是 能 让 专家 
系统 在 解决 问题 时 合并 确信 和 度 使 得 推理 继续 下 去 的 “润滑 剂 ” 。 确 信 度 的 度量 有 些 特殊 ， 同样 ， 
人 类 专家 对 自己 结论 的 确信 度 也 是 近似 的 、 启 发 式 的 和 非 形式 的 。 当 MYCIN 运行 时 ， 确 信 度 被 
用 来 在 启发 式 搜索 中 给 出 目标 的 优先 级 ， 在 一 个 目标 不 用 再 被 考虑 时 给 出 终止 点 。 但 即便 是 确 
信 度 被 用 来 维持 程序 的 运行 和 搜集 信息 ， 系 统 的 性 能 好 坏 仍然 主要 取决 于 规则 的 质量 。 


9.2.2 模糊 集 推理 


使 用 形式 集合 论 时 ， 有 两 个 重要 的 假定 。 第 一 个 是 关于 集合 成 员 关系 : 对 于 任意 一 个 元 素 和 
在 某 个 全 域 中 的 一 个 集合 来 说 ， 这 个 元 素 或 者 在 这 个 集合 中 ， 或 者 在 这 个 集合 的 补 集中 。 第 二 个 
假定 称 为 排 中 律 ， 是 指 一 个 元 素 不 能 既 属 于 一 个 集合 ， 又 属于 这 个 集合 的 补 。Lotfi Zadeh 的 模糊 
集 理 论 冲破 了 这 两 个 假定 。 事 实 上 ， 在 模糊 集 理论 的 观点 看 来 ， 传 统 集合 论 的 集合 和 推理 被 称 为 
干脆 的 。 . 

Zadeh 的 主要 思想 (Zadeh 1983) 是 ; 虽然 概率 论 是 对 信息 的 随机 性 进行 度量 的 ， 但 是 用 它 
来 对 信息 的 含义 进行 度量 是 不 恰当 的 。 实 际 上 ， 我 们 运用 英语 单词 和 词组 时 经 常 混淆 ， 这 应 该 算 
是 不 清楚 (含糊) 而 不 是 随机 性 。 对 于 分 析 语 言 结构 这 是 很 重要 的 一 点 ， 在 确定 产生 式 规则 的 
确定 性 时 也 同样 重要 。 就 像 概率 论 度量 随机 性 一 样 ，Zadeh 提出 了 可 能 性 理论 (possibility theory) 
来 度量 模糊 程度 。 

Zadeh 用 量化 的 方式 来 表达 不 精确 性 ， 为 此 他 引入 了 取 值 在 0 和 1 之 间 的 集合 隶属 函数 。 模 
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糊 集 的 概念 可 以 描述 如 下 : 令 S 为 集合 ，s 是 这 个 集合 的 一 个 元 素 。S 的 模糊 子 集 F 由 隶属 函数 
mF(s) 来 定义 ， 这 个 函数 度量 了 s 属于 F 的 “程度 ”。 

图 9-6 给 出 了 模糊 集 的 一 个 例子 ，S 是 正 整 数 集合 ， 称 
为 小 整数 集合 的 F 是 S 的 模糊 子 集 。 于 是 不 同 的 整数 对 于 
小 整数 集合 的 模糊 隶属 度 有 一 个 “可 能 性 ”分 布 : mF(1) 
=1.0, mF(2) =1.0, mF(3) =0.9, mF(4) =0.8, 
mF(50) =0. 001， 等 等 。 对 于 语句 正 整 数 X 是 一 个 小 整数 ， 
mF 创建 对 于 所 有 正 整数 〈S) 的 一 个 可 能 性 分 布 。 图 9-6 “小 整数 ”的 模糊 集 表示 

模糊 集 理论 并 不 关心 这 些 可 能 性 分 布 是 怎么 创建 的 ， 而 是 关心 用 什么 规则 来 计算 合并 含有 
模糊 变量 的 表达 式 的 可 能 性 。 所 以 ， 它 包含 合并 含有 模糊 变量 的 表达 式 的 可 能 性 的 值 的 规则 。 对 
于 表达 式 中 的 or、and 和 not， 合 并 规则 与 Stanford 确定 度 代数 相似 : 参见 9. 2. 1 节 。 

图 9-6 所 示 ， 对 于 代表 小 整数 的 模糊 集 ， 每 个 属于 这 个 集合 的 整数 都 有 相对 应 的 置信 度 。 对 
传统 逻辑 的 “于 脆 ” 集 来 说 ， 集 合 中 元 素 的 隶属 值 或 者 是 1 或 者 是 0。 图 9-7 给 出 了 男性 对 于 
绑 、 中 等 、 高 这 三 个 概念 的 隶属 函数 。 需 要 指出 的 是 ， 每 个 人 可 以 属于 不 只 一 个 集合 ,例如 ,一 
个 5 英尺 9 英寸 的 男性 既 属 于 中 等 集合 ， 又 属于 高 的 男性 集合 。 

接 下 来 求解 一 个 问题 来 演示 一 下 模糊 集 的 合并 和 传播 规则 ， 即 对 一 个 倒立 摆 怎 样 控制 的 问 
题 ， 它 现在 成 了 模糊 集 著作 中 很 经 典 的 问题 。 图 9-8 给 出 了 一 个 倒立 摆 ， 我 们 希望 摆 能 保持 平 
衡 ， 并 指向 上 方 。 我 们 通过 移动 系统 底部 来 抵消 作用 于 摆 的 重力 的 办 法 来 保持 系统 的 平衡 。 有 一 
组 微分 方程 可 以 使 摆 保 持平 衡 (Ross 1995) 。 用 模糊 集 方法 来 控制 摆 系 统 的 优点 在 于 生成 的 算法 
可 以 有 效 和 实时 地 控制 系统 。 我 们 接 下 来 将 讨论 这 种 控制 机 制 。 








图 9-7 矮 、 中 等 和 高 个 男性 集合 的 模糊 集 表示 图 9-8 倒立 摆 ， 角 度 9 和 d6/di 的 输入 值 


我 们 用 两 个 维度 来 刻画 摆 问 题 ， 以 简化 这 个 问题 。 控 制程 序 有 两 个 输入 量度 ， 在 图 9-8 中 我 
们 可 以 看 到 : 第 一 个 是 角度 86， 是 摆 与 垂直 中 线 的 偏 移 量 ， 第 二 个 是 de/dt， 是 钟 摆 移 动 的 速度 。 
这 两 个 量度 都 是 垂直 线 的 右边 为 正 ， 左 边 为 负 。 系 统 每 次 反复 ， 这 两 个 量 都 要 提供 给 模糊 控制 程 
序 。 控 制程 序 的 输出 是 对 系统 的 底部 给 出 一 个 移动 和 一 个 方向 。 移 动 和 方向 的 指示 是 为 了 保持 
钟 摆 的 平衡 。 1 

为 说 明 控制 程序 的 动作 ， 用 模糊 集 描 述 求解 过 程 。 描 述 钟 摆 状 态 的 数据 6 和 de/dt 被 解释 成 
模糊 量度 ， 如 图 9-9 所 示 ， 并 送 到 模糊 规则 集 。 这 一 步 通过 称 为 模糊 联想 矩阵 〔(FAM) 的 结构 可 
以 有 效 地 实现 ， 如 图 9-12 所 示 ， 和 矩阵 中 输入 /输出 的 关系 直接 用 编码 表示 了 出 来 。 这 里 的 规则 并 
不 像 传统 的 基于 规则 的 问题 求解 那样 链 在 一 起 。 而 是 所 有 匹配 的 规则 结合 在 一 起 ， 它 们 的 结果 
合并 起 来 。 如 图 9-10 所 示 ， 这 个 结果 通常 表示 为 模糊 输出 参数 空间 中 的 一 个 区 间 ， 然 后 这 个 结 
果 再 经 过 模糊 反 变 找 ， 返 回 控制 响应 。 需 要 指出 的 是 ， 开 始 的 输入 和 最 终 的 输出 都 是 纯 数字 。 它 
们 是 作为 输入 的 某 些 监视 器 的 准确 读数 和 作为 输出 的 对 控制 的 精确 指示 。 
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a ) 9 的 模糊 区 间 b ) d 8 /dt 的 模糊 区 间 
图 9-9 输入 值 的 模糊 区 间 
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图 9-10 输出 值 u 的 模糊 区 间 ，u 指示 摆 底 部 的 移动 
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b) 
图 9-11 输入 值 Xx =1、xa = -4 的 模糊 化 

接 下 来 讨论 输入 值 6 和 de/dt 的 模糊 区 间 。 这 个 例子 简化 了 一 些 情形 ， 比 如 ， 输 入 一 个 输入 

值 模糊 区 间 中 的 数 ， 但 显示 整个 程序 的 过 程 和 对 控制 








器 的 响应 。 输 入 值 9 被 划分 成 三 个 区 间 : 负 、 零 和 正 ， x* P Zz NAN 
如 图 9-9a 所 示 , 9 在 -2~ +2 弧度 的 区 间 取 值 。 图 9- pl pe p > 
9b 给 出 了 第 二 个 输入 值 d6/dt 被 划分 成 的 三 个 区 间 ， 
同样 是 负 、 零 和 正 ， 取 值 区 间 是 -5 ~ +5 度 / 秒 。 
图 9-10 表示 输出 区 间 的 取 值 ， 我 们 用 中 间 的 五 个 N Z N NB 
区 间 ， 大 负 、 负 、 零 、 正 和 大 正 。 度 量 值 介 于 - 24 ~ 
+24 之 间 ， 表 示 每 个 响应 的 移动 和 方向 。 图 9-12 倒 摆 问题 的 模糊 联想 矩阵 (FAM ) 。 
输入 值 在 左 侧 和 顶部 


现在 假定 模拟 开始 ， 第 一 次 送 给 控制 器 的 值 是 9 = 
1 和 de/dt= -4。 图 9-11 反映 了 对 这 些 输入 量 的 模糊 变换 。 对 于 每 种 情况 ， 输 入 值 作用 于 两 个 
模糊 输入 空间 中 的 两 个 区 间 。 对 于 8， 对 零 的 可 能 性 度量 为 0.5， 对 正 的 可 能 性 度量 为 0.5。 对 于 
de/dt， 对 负 的 可 能 性 度量 为 0.8， 对 零 的 可 能 性 度量 为 0. 2。 

.图 9-12 给 出 了 针对 这 个 问题 的 模糊 联想 矩阵 的 简化 形式 。 表 的 左边 表示 输入 86， 或 者 x ， 
上 边 表示 输入 d8/dt, 或 者 x,。FAM 表 右 下 角 的 值 表示 输出 值 。 例 如 ， 如 果 6 是正， 并且 de/dt 
是 负 ，FAM 返回 给 摆 系 统 的 移动 值 是 零 。 需 要 指出 的 是 响应 必须 由 图 9-10 对 输出 区 间 零 进行 
糊 反 变换 。 

在 这 个 例子 中 ， 因 为 每 个 输入 值 都 处 在 输入 空间 的 两 个 区 间 上 ， 所 以 必须 用 到 四 个 规则 。 像 
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前 面 指出 的 那样 ,模糊 集 的 合并 规则 与 Stanford 确信 度 代数 相似 。 事 实 上 ，Zadeh ( Buchanan 和 
Shortliffe 1984) 是 第 一 个 (历史 上 〉 提出 模糊 推理 代数 的 合并 规则 的 人 。 如 果 两 个 前 提 的 度量 
用 AND 来 连接 ， 则 度量 中 最 小 的 那个 被 作为 这 条 规则 的 度量 。 如 果 两 个 前 提 用 来 OR 连接 ， 则 
选 度量 中 最 大 的 。 

在 我 们 的 例子 中 ， 所 有 的 前 提 用 AND 来 连接 ， 所 以 将 之 中 最 小 的 度量 作为 规则 结果 的 度量 ， 


IFxi =PANDx:=ZTHENuU=P 
min(0.5, 0.2) = 0.2 P 


IF x1 = PAND x = N THEN u =Z 
min(0.5, 0.8) = 0.5Z 


IF xi =ZANDx:=ZTHENuU=Z 
min(0.5, 0.2) = 0.2Z 


IF x1 = ZAND x = N THENu=N 
min(0.5, 0.8) = 0.5N 


接 下 来 进行 结果 的 合并 。 在 我 们 的 例子 中 ， 按 照 规则 集 的 结果 所 示 画 出 图 9-10 中 的 联合 区 
域 。 有 许多 种 模糊 反 变换 的 技术 (Ross 1995 ) 。 我 们 选择 最 常用 的 一 种 : 质心 法 。 这 种 办 法 是 把 
联合 区 域 的 质心 作为 控制 程序 输出 给 摆 的 最 终结 果 。 联 合 区 域 以 及 区 域 的 质心 如 图 9-13 所 示 。 
在 输出 作用 于 系统 之 后 ，9 和 de/dt 又 被 抽样 ， 控 制 循环 又 重复 下 去 。 

在 描述 模糊 推理 系统 时 ， 还 有 很 多 问题 没有 提 到 ， 包 括 属于 收敛 过 程 的 摆动 的 模式 和 最 佳 
抽样 率 的 选取 。 模 糊 系 统 尤 其 是 在 控制 领域 给 我 们 提供 了 一 个 强大 有 效 的 工具 来 处 理 度量 不 准 
确 的 问题 。 





-16 


u(0)= —2 
a ) 模糊 结果 b ) 模糊 区 间 
图 9-13 模糊 结果 和 它们 的 区 间 
注 : 这 个 区 间 的 质心 ( -2) 是 干脆 的 输出 


9. 2.3 ” Dempster-Shafer 证 据 理论 


到 现在 我 们 讨论 的 不 确定 条 件 下 的 推理 技术 是 给 定 证 据 集 ， 我 们 赋 给 单个 命题 可 能 起 因 或 
者 信任 程度 的 估计 值 。 用 概率 的 办 法 来 求解 不 确定 问题 的 一 个 局 限 是 它们 用 一 个 单一 的 数字 来 
度量 一 个 可 能 很 复杂 的 情形 。 通 常 ， 不 确定 性 来 源 于 缺少 证 据 的 合并 、 启 发 式 规则 固有 的 局 限 和 
人 们 知识 的 局 限 性 。 

另外 一 种 办 法 称 为 Dempster-Shafer 证 据 理 论 ， 考 虑 的 是 命题 集 ， 并 赋 给 区 间 值 [belief，, 
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plausibility ] ， 每 个 命题 的 可 信和 度 (belief measure) 必须 在 这 个 区 间 内 。 这 个 可 信 度 表示 为 bel， 
取 值 从 0 到 1， 取 值 为 0 表示 没有 证 据 支 持 这 组 命题 ， 取 值 为 1 表示 完全 确定 。 命 题 p 的 似 真 性 
pl (p) 是 这 样 定义 的 : 


pl(p) =1 ~ bel( not( p)) 


于 是 ， 似 真性 也 是 从 0 到 1 取 值 ， 反 映 了 not(p) 的 证 据 是 怎么 与 信任 Pp 的 可 能 性 相 联 系 的 。 如 果 
我 们 对 not(p) 有 确定 的 证 据 ， 那 么 bel( not(p) ) 就 为 1，pl(p) 就 为 0。 对 bel( p) 的 惟一 可 能 的 什 
也 是 0。 

假定 我 们 有 两 个 竞争 的 假设 (competing hypotheses) h， 和 hs 。 当 我 们 没有 支持 每 个 假设 的 信 
息 时 ， 它 们 的 信任 度 / 似 真性 在 [0, 1] 上 取 值 。 当 我 们 有 了 证 据 ， 我 们 希望 区 间 缩 小 ， 表 示 对 
于 假设 支持 度 增加 。 在 贝 叶 斯 定理 中 ， 我 们 开始 可 能 〈 这 时 没有 证 据 ) 把 先 验 概率 等 分 到 两 个 
假设 中 去 ， 即 每 个 P(h,) =0. 5。Dempster-Shafer 明确 说 明 开 始 时 没有 证 据 ， 另 一 方面 ， 贝 叶 斯 方 
法 则 不 管 我 们 有 多 少数 据 也 能 得 出 相同 的 概率 值 。 这 样 ， 在 基于 收集 到 的 证 据 数量 来 做 结论 的 
时 候 ，Dempster-Shafer 证 据 理论 就 非常 有 用 。 

总 结 一 下 ，Dempster 和 Shafer 通过 区 分 不 确定 和 不 知道 来 解决 度量 确定 程度 的 问题 。 在 概率 
论 中 ,我 们 必须 对 假设 h 用 一 个 数字 给 出 它 的 概率 ，p(h) 。Dempster 和 Shafer 指出 概率 论 办 法 的 
问题 在 于 我 们 并 不 一 定 总 是 知道 概率 的 值 ， 因 此 我 们 给 出 的 p(h) 可 能 没有 经 过 证 实 。 

Dempster-Shafer 信念 函数 能 满足 概率 论 不 能 满足 的 问题 ， 也 就 是 说 ， 当 所 有 的 概率 都 给 定 
时 ， 它 就 成 为 概率 论 了 。 信 念 函数 允许 我 们 在 缺少 准确 的 概率 的 情况 下 ， 用 知识 对 事件 的 概率 
赋值 。 

Dempster-Shafer 理论 的 基础 思想 有 两 点 : 第 一 ， 是 从 相关 问题 的 主观 概率 来 得 到 一 个 问题 可 
信 度 的 思想 ; 第 二 ， 当 基于 相互 独立 的 证 据 时 ,合并 可 信 度 的 规则 的 使 用 。 合 并 规则 是 由 Demp- 
ster (1968) 最 早 提 出 来 的 。 下 面 我 们 给 出 Dempster-Shafer 推理 的 一 个 不 很 正式 的 例子 ,然后 给 
出 规则 。 最 后 ， 把 规则 运用 到 一 个 更 现实 的 情况 下 。 

假定 我 对 朋友 Melissa 的 可 信赖 程度 有 一 个 主观 的 概率 。 她 是 可 信赖 的 可 能 性 为 0. 9， 不 可 信 
赖 的 可 能 性 为 0. 1。 假设 Melissa 告诉 我 ， 我 的 计算 机 被 别人 侵入 了 。 如 果 Melissa 是 可 信赖 的 ， 
则 这 是 真 的 ， 但 如 果 她 是 不 可 信赖 的 ， 这 名 话 则 不 一 定 为 假 。 所 以 Melissa 一 个 人 的 陈述 证 实 我 
的 计算 机 被 侵入 的 可 信 度 为 0.9， 没 有 被 侵入 的 可 信 度 为 0.0。0.0 的 可 信 度 与 0.0 的 概率 不 同 ， 
它 并 不 意味 着 我 确信 计算 机 没有 被 侵入 ， 而 只 是 表明 Melissa 的 陈述 没有 给 我 理由 来 相信 计算 机 
没 被 侵入 。 在 这 种 情况 下 ， 似 真性 pl 为 : 


pl(computer_broken_into) =1 -bel(not(computer_broken_into)) =1 -0.0 


我 对 Melissa 的 可 信和 度 为 [0.9，1.0]。 需 要 指出 的 是 仍然 没有 证 据 表明 我 的 计算 机 没 被 侵入 。 

”我 们 接 下 来 讨论 Dempster 理论 中 合并 证 据 的 规则 。 假 设 我 的 朋友 Bill 也 告诉 我 ， 我 的 计算 机 
被 侵入 了 。 假 定 Bil 可 信赖 的 概率 为 0.8， 不 可 信赖 的 概率 为 0. 2。 我 还 必须 假定 Melissa 和 Bil 
的 有 关 计 算 机 的 陈述 互相 独立 ， 也 就 是 说 ， 他 们 分 别 有 各 自 的 原因 来 告诉 我 这 件 事 。 事 件 B 记 是 
可 信赖 的 必须 独立 于 事件 Melissa 也 是 可 信赖 的 。Melissa 和 Bill 都 是 可 信赖 的 概率 是 0. 72， 都 是 
不 可 信赖 的 概率 是 0. 02。 至 少 有 一 人 是 可 信赖 的 概率 是 1 -0.02， 即 0.98。 因为 他 们 两 人 都 说 我 
的 计算 机 被 侵 人 ， 并 且 至 少 有 一 人 是 可 信赖 的 概率 是 0. 98 ， 我 将 给 事件 计算 机 被 侵入 的 信任 度 
赋值 为 [0.98，1.0]。 

假设 Melissa 和 Bill 的 陈述 不 一 致 : Melissa 说 我 的 计算 机 被 侵入 了 ，Bill 说 没有 侵 人 。 在 这 
种 情况 下 ， 他 们 不 可 能 都 是 可 信赖 的 。 或 者 他 们 都 是 不 可 信赖 的 ,或 者 只 有 一 人 是 可 信赖 的 。 只 
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有 Melissa 是 可 信赖 的 先 验 概率 是 0.9 x (1 -0.8) =0.18， 只 有 Bl 是 可 信赖 的 先 验 概率 是 0.8 x 
(1 -0.9) =0.08， 两 人 都 不 可 信赖 的 先 验 概率 是 0.2 x0. 1 =0.02。 给 定 至 少 有 一 人 是 不 可 信 各 
的 概率 为 《0. 18 + 0. 08 + 0.02) = 0.28， 我 们 还 可 以 算出 只 有 Melissa 是 可 信赖 的 后 验 概率 是 
0. 18/0.28 = 0.643， 这 时 计算 机 被 侵入 ,或 者 只 有 Bil 是 可 信赖 的 后 验 概率 是 0.08/0.28 = 
0.286 ， 这 时 计算 机 没 被 侵入 。 

我 们 刚才 运用 了 Dempster 规则 来 合并 信念 。 当 Melissa 和 Bill 都 说 计算 机 被 侵 和 人 时 ， 总 结 一 
下 支持 侵 和 的 三 种 情形 : Melissa 和 Bill 都 是 可 信赖 的 ， 只 有 Bil 是 可 信赖 的 ， 只 有 Melissa 是 可 
信赖 的 。 信 和 念 0. 98 是 这 几 种 支持 情形 的 和 。 第 二 次 运用 Dempster 规则 时 ， 两 人 的 意见 不 一 致 。 
同样 ， 我 们 也 总 结 一 下 所 有 可 能 的 情形 。 惟 一 不 可 能 的 情形 是 他 们 都 是 可 信赖 的 ; 因此 ， 或 者 只 
有 Melissa 是 可 信赖 的 ,或 者 只 有 Bill 是 可 信赖 的 ,或 者 两 人 都 是 不 可 信赖 的 。 这 三 种 情形 给 出 
了 对 于 计算 机 被 侵入 的 可 信 度 0.643。 计 算 机 没 被 侵 人 (Bill 的 观点 ) 的 可 信和 度 为 0.286， 由 于 
计算 机 被 侵入 的 似 真性 为 1 一 bel( not(break in)) ， 即 0.714， 所 以 可 信和 度 为 [0.28，0.714] 。 

在 运用 Dempster 规则 时 ， 我 们 从 另外 一 个 问题 (这 两 个 人 是 否 可 信赖 ) 的 概率 来 获取 这 个 
间 题 (计算 机 是 否 被 侵 人 ) 的 概率 。 这 个 规则 开始 时 假定 我 们 的 概率 是 独立 的 ， 但 这 只 是 前 提 
假定 。 当 不 同 的 证 据 矛 盾 时 ， 这 个 前 提 假 定 就 不 成 立 了 。 

在 特殊 情况 下 运用 Dempster-Shafer 的 办 法 需要 解决 两 个 相关 的 问题 。 首 先 ， 我 们 把 不 确定 的 
情况 转化 为 假定 独立 的 证 据 。 第 二 ， 我 们 执行 Dempster 规则 。 这 两 个 任务 是 相关 的 。 假 定 Melis- 
sa 和 Bil 都 告诉 我 计算 机 被 侵入 了 ， 而 且 是 独立 的 。 并 假定 我 还 找 了 个 维修 工 来 检查 我 的 计算 
机 ， 而 且 Melissa 和 Bill 都 看 到 了 。 因 此 ， 就 不 用 再 比较 可 信和 度 了 。 但 是 ， 如 果 明 确 考虑 维修 工 
来 检查 计算 机 的 可 能 性 ， 那 么 就 有 三 个 独立 的 证 据 : Melissa 的 可 信赖 性 、Bill 的 可 信赖 性 和 维修 
工 到 场 的 证 据 ， 接 下 来 就 可 以 用 Dempster 规则 来 合并 它们 。 

假定 有 一 个 互相 不 相关 的 假设 的 完整 集合 ， 称 为 @Q。 目 标 是 对 Q 的 不 同 子 集 Z 给 出 信念 
的 度量 m，m 有 时 称 为 Q 的 子 集 的 概率 密度 函数 。 现 实 中 ,不 是 所 有 的 证 据 直 接 支持 Q 的 元 
素 。 实 际 上 ， 证 据 通常 支持 Q 的 不 同 子 集 Z。 另 外 ， 由 于 Q 的 元 素 假定 是 互相 独占 的 ， 支 持 
其 中 一 部 分 的 证 据 可 能 会 对 其 他 部 分 的 信念 有 影响 。 在 纯 贝 叶 斯 系统 中 ， 见 9.3 节 ， 我 们 是 
通过 列 出 所 有 条 件 概率 的 合并 式 的 办 法 来 解决 上 述 情况 中 的 问题 的 。 在 Dempster-Shafer 系统 
中 ， 我 们 是 通过 直接 操作 假设 集 来 处 理 这 些 问 题 的 。 数 m,(Z) 度量 了 赋 给 子 集 Z 的 信念 ,n 代 
表 证 据 的 数量 。 

Dempster 规则 指出 ， 

muCZ) = mm 
1-Zxnv-emn_-z(X)mna_ 1i(Y) 
例如 ， 假 设 为 Z 有 nmn=3 个 证 据 的 信念 ms(Z) 是 m;(X) 和 ms(Y) 两 种 假设 情形 的 和 ， 它 们 同时 成 
立时 支持 Z， 即 XNY =Z。Dempster 规则 的 分 母 表示 (在 后 面 的 例子 中 会 看 到 ) X 和 YY 可 以 有 
空 的 交集 ， 确 信和 度 的 和 必须 用 1 减 去 它们 的 和 来 常规 化 。 

接 下 来 在 医疗 诊断 的 情况 中 运用 Dempster 规则 。 假 设 Q 表示 我 们 关注 的 领域 ,包含 四 个 假 
设 : 一 个 病人 和 患 有 伤寒 (C) 、 流 感 (F) 、 偏 头疼 (H) 或 者 脑膜 炎 (M)。 我 们 的 任务 是 对 Q 
之 内 的 假设 集 赋予 信念 的 度量 。 像 已 经 提 到 的 那样 ， 它 们 是 假设 集 ， 因 为 证 据 不 需要 专门 支持 这 
些 假设 。 例 如 ， 发 烧 可 能 支持 { C, F, M} 。 由 于 Q 的 元 素 可 看 成 是 相互 独占 的 假设 ， 支 持 其 中 一 
部 分 的 假设 可 能 影响 其 他 的 信任 度 。 像 已 经 提 到 的 那样 ，Dempster-Shafer 方法 是 通过 直接 操作 假 
设 集 来 处 理 交 叉 影响 问题 。 
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对 概率 密度 函数 m 和 所 有 Q 的 子 集 Z， 数 m(q;) 代 表 当 前 赋 给 Q 的 每 个 q 的 信念 ， 所 有 m 
(qi) 的 和 等 于 1。 如 果 Q 包含 n 个 元 素 ,那么 有 2" 个 Q 的 子 集 。 虽然 赋 2" 个 值 可 能 会 令 人 感到 
诅 垃 ,但 通常 很 多 子 集 并 不 出 现 。 这样， 求解 过 程 就 可 以 简化 ， 因 此 这 些 值 就 可 以 忽略 掉 。 最 
后 ，Q 的 似 真性 p1(Q) =1 -mm(q;) ， 其 中 fd 是 有 一 些 支持 信念 的 假设 集 。 如 果 没有 任何 有 关 
假设 的 信息 ， 就 像 开始 诊断 时 的 情形 ， 那 么 p1( Q) =1.0。 

假设 第 一 条 证 据 是 病人 发 烧 ， 对 { C, F, M} 的 支持 为 0.6。 我 们 称 第 一 条 信念 为 m,。 如 果 这 
是 仅 有 的 一 条 假设 , 那么 m,{C, F, M} =0.6， 而 m,(Q) =0.4， 表 示 信 念 的 剩余 的 分 布 。 需 要 指 
出 的 是 m,(Q) =0. 4 表示 的 信念 的 剩余 分 布 是 指 Q 中 所 有 其 他 可 能 的 信念 ， 而 不 是 {C, F, M} 补 
集 的 信念 。 

假设 现在 获取 一 些 新 的 数据 来 用 于 诊断 ， 即 病人 反 角 恶心 ， 它 对 {C, F, H} 的 支持 度 为 0.7。 
我 们 把 这 个 信念 称 为 m。,， 有 mo{ C, F, H} =0.7，ms(Q) =0. 3。 我 们 用 Dempster 规则 来 合并 这 
两 个 信念 ，m 和 ma。 令 X 为 m, 赋 给 一 个 非 零 值 的 Q 中 的 子 集 ，Y 为 m。 赋 给 一 个 非 零 值 的 Q 
中 的 子 集 。 然 后 用 Dempster 规则 产生 一 个 定义 在 Q 的 子 集 Z 上 的 合并 信念 m,。 

在 运用 Dempster 规则 来 进行 诊断 时 ， 首 先 要 指出 的 是 没有 集合 XmY 是 空 的 ， 所 以 分 母 是 
1。ms 的 信念 分 布 见 表 9-1。 


表 9-1 用 Dempster 规则 来 获取 ms 的 信念 分 布 





Mm Mm, ms 

mi{C,F,M} = 0.6 m,{C,F,H} = 0.7 ma{C,F} = 0.42 
mi(Q) = 0.4 mzfC,F,H} = 0.7 mafC,F,H) = 0.28 
mi{C,F,M} = 0.6 mz(Q) = 0.3 ma{C,F,M} = 0.18 
mi(Q) = 0.4 m,(Q) = 0.3 ms(Q) = 0.12 





运用 Dempster 规则 ， 四 个 集合 Z， 所 有 可 能 的 X 和 Y 的 交集 ， 构 成 了 表 9-1 的 最 右边 的 一 
列 。 它 们 的 信念 量度 是 通过 m, 和 m。 下 X 和 YY 对 应 元 素 的 信念 相 乘 而 得 到 的 。 还 要 指出 的 是 在 
这 个 例子 中 Z 的 每 个 集合 都 是 惟一 的 ， 但 通常 不 是 这 种 情况 。 

最 后 再 扩展 一 下 我 们 的 例子 来 说 明 空 信念 集 在 分 析 中 是 怎么 出 现 的 。 假 设 我 们 有 一 个 新 的 
事实 ， 实 验 室 文化 与 脑膜 炎 相 关 。 现 在 有 m4{M]} =0.8，m4(Q) =0.2。 可 以 用 Dempster 规则 来 
合并 m4 和 前 面 的 分 析 结 果 ms 来 得 到 ms ， 见 表 9-2。 


表 9-2 用 Dempster 的 规则 来 合并 m。 和 ms, 来 得 到 ms 











ms my ms (without denominator) 
ma{C,F} = 0.42 m4{M} = 0.8 ms{} = 0.336 

ma(Q) = 0.12 ms{M} = 0.8 ms{M} = 0.096 
ms{C,F} = 0.42 m4(Q) = 0.2 mse{C,F} = 0.084 
ma(Q) = 0.12 ms4(Q) = 0.2 ms(Q) = 0.024 
ms{C,F,H} = 0.28 mA{M} = 0.8 me{}= 0.224 
ms(C,F,M) = 0.18 ms{M} =0.8 me{M} = 0,144 
ms{C,F,H} = 0.28 m4(Q) = 0.2 ms{C,F,H} = 0.056 


ma(C.F,M) = 0.18 ma(Q) = 0.2 ms{C,F,M} = 0.036 


第 9 汪 不 确定 痪 伴 下 扒 扒 理 253 





注意 ，ms{ M] 是 两 对 不 同 集合 的 交集 ， 所 以 总 的 ms{M} =0. 240。 还 有 这 种 情况 : 不同 集合 
的 交集 为 空 集 {| 。 这 样 Dempster 规则 的 分 母 是 1 - (0. 336 +0.224) =1 -0.56 =0.44。m, 最 后 
的 信念 函数 是 : 

mu{M} = 0.545 ms{C,F} = 0.191 ms{ ) = 0.56 

ms{C,F,H} = 0.127 ms{C,F,M} = 0.082 ”me(Q) = 0.055 


最 后 有 三 点 评论 。 第 一 ， 如 果 赋 予 空 集 一 个 很 大 的 信念 ， 如 ms{ } =0. 56 ， 那 么 说 明 在 信念 
集中 有 矛盾 的 证 据 。 实 际 上 ， 设 计 这 个 例子 是 用 来 展示 Dempster-Shafer 推理 的 多 个 特征 的 ， 因 此 
牺牲 了 医学 含义 的 完整 性 。 第 二 ,虽然 如 同 前 面 指出 的 那样 ，Dempster-Shafer 推理 比 贝 叶 斯 推理 
计算 量 要 小 得 多 ， 但 是 当 假设 集 很 大 而 且 证 据 集 很 复杂 时 ， 信 念 集 的 计算 会 变 得 很 麻烦 。 第 三 ， 
在 较 强 的 贝 叶 斯 假设 没有 证 实 的 情况 下 ，Dempster-Shafer 办 法 是 一 个 很 有 用 的 工具 。 

Dempster-Shafer 是 支持 推理 中 运用 主观 概率 的 代数 的 一 个 例子 。 有 时 我 们 感觉 主观 概率 更 好 
地 反映 了 人 类 专家 的 推理 。 在 接 下 来 的 9.3 节 中 ， 将 讨论 更 多 基于 贝 叶 斯 规则 扩展 的 推理 技术 ， 
贝 叶 斯 规则 在 5. 3 节 介 绍 过 。 


9.3 处 理 不 确定 性 的 随机 方法 


使 用 概率 论 ， 我 们 可 以 从 先 验 论 证 中 确定 事件 发 生 的 几率 。 还 可 以 描述 事件 的 合并 是 怎么 
相互 影响 的 。 虽 然 最 终 建立 概率 论 是 由 20 世纪 初 的 数学 家 (包括 Fisher、Neyman 和 Pearson) 完 
成 的 ， 构 造 合并 代数 的 研究 却 可 以 追 滴 到 中 世纪 的 希腊 人 ， 包括 Llull、Porphyry 和 Plato ( Gly- 
mour et al.1995a) 。 概 率 论 的 现实 基础 是 ， 如 果 我 们 可 以 知道 这 个 事件 以 前 发 生 的 频率 ， 那 么 就 
可 以 用 这 个 信息 (作为 归纳 偏 置 ) 来 解释 和 推理 现在 的 数据 。 

在 第 5 章 ， 我 们 列举 了 很 多 适合 概率 分 析 的 情况 。 例 如 ， 真 正 随机 的 环境 ， 像 用 洗 好 牌 的 扑 
克 玩 游戏 或 旋转 均匀 的 轮 盘 财 轮 。 此 外 ， 虽 然 世 界 上 有 很 多 事情 不 是 真正 随机 的 ， 但 通常 不 可 能 
估量 所 有 条 件 及 其 相互 作用 以 预测 事件 的 发 生 ; 统计 相关 性 是 解释 世界 的 有 用 的 工具 。 统 计 的 
另 一 个 用 途 是 作为 自动 归纳 和 机 器 学 习 的 基础 (如 10. 3 节 中 的 ID3 算法 ) 。 最 后 ， 近 年 来 人 们 试 
图 把 概率 和 因果 关系 的 概念 联系 起 来 (Glymour and Cooper 1999 ，Pearl 2000 ) 。 

在 随机 领域 中 ， 最 初 的 推理 机 制 是 某 种 形式 的 贝 叶 斯 规则 。 然 而 ， 在 5. 3 节 介绍 过 ， 在 复杂 
领域 中 完全 使 用 贝 叶 斯 推理 会 使 问题 很 快 就 变 得 难以 处 理 。 专 门 设计 的 概率 图 模型 可 说 明 这 个 
复杂 性 。 概 率 图 模型 是 “……… 概率 论 和 图 论 相 结合 的 产物 ”( Jordan 1999 ) 。 

在 机 器 学 习 ( 见 第 13 章 ) 中 ， 概 率 图 模型 变 得 越 来 越 重 要 ， 因 为 它们 可 以 描述 不 确定 的 和 
复杂 的 问题 ， 描 述 对 于 现代 人 工 智能 有 基本 局 限 的 已 知 问题 。Jordan 指出 ,模块 性 的 问题 是 图 模 
型 的 基础 : 简单 的 模块 通过 概率 论 结合 在 一 起 ， 这 符合 整体 系统 的 一 致 性 ， 并 同时 将 图 模型 和 应 
用 数据 相 结合 (Jordan 1999) 。 同 时 图 论 为 图 模型 既 提 供 了 用 于 表示 强 交 互 组 件 集 的 直观 方法 ， 
也 提供 了 支持 高 效 推理 算法 的 数据 结构 。 

在 9.3 节 和 第 13 章 讨论 两 类 概率 图 模型 : 有 向 的 、 贝 叶 斯 信念 网 络 和 多 种 形式 的 马尔 可 夫 
模型 ;无 向 的 、 团 树 和 马尔 可 夫 随 机 场 。 马 尔 可 夫 场 和 其 他 无 向 图 模型 可 以 表示 很 多 循环 依赖 ， 
这 用 有 向 图 模型 无 法 表示 。 另 一 方面 ， 与 无 向 图 模型 相 比 ， 在 获取 隐 含 推理 关系 和 依赖 方面 ， 有 
向 图 模型 贝 叶 斯 信念 网 络 是 更 为 精确 和 有 效 的 。 

下 面 的 几 节 中 ， 我 们 介绍 贝 叶 斯 信念 网 络 和 几 种 专门 设计 的 推理 技术 ,它们 可 以 描述 无 向 
图 模型 和 /或 全 贝 叶 斯 推理 的 计算 复杂 性 。 之 后 ， 在 9.3.5 节 中 ，3 引 人 马尔 可 夫 寺 程 并 提 及 岂 个 
有 代表 性 的 重要 变量 。 其 中 一 个 是 动态 贝 叶 斯 网 络 ， 另 一 个 是 离散 马尔 可 夫 过 程 。 

贝 叶 斯 信念 网 络 和 传统 的 隐 马 尔 可 夫 模 型 中 的 主要 局 限 之 一 就 是 它们 固有 的 命题 本 质 。 我 
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们 通过 几 种 将 命题 逻辑 合并 的 尝试 来 说 明 这 种 局 限 ， 如 使 用 概率 图 模型 ， 全 基于 变量 的 谓词 计 
算 等 。 在 9. 3.7 节 中 对 这 些 方法 进行 了 概括 ， 并 在 第 13 章 再 次 涉及 一 阶 概率 系统 。 


9. 3. 1 有 向 图 模型 : 贝 叶 斯 信念 网 络 


第 5 章 介绍 过 ， 虽 然 贝 叶 斯 信念 网 络 为 不 确定 条 件 下 的 推理 提供 了 一 个 数学 基础 ， 但 是 其 复 
杂 性 使 它 难 以 应 用 到 实际 问题 领域 中 去 。 幸 运 的 是 ， 可 以 通过 把 搜索 集中 于 更 相关 的 事件 和 证 
据 的 小 集合 上 的 办 法 来 前 减 复 杂 性 。 一 种 方法 是 使 用 贝 叶 斯 信念 网 络 (Pearl 1988) ， 它 提供 了 在 
问题 域 中 期 望 的 因果 关系 下 推理 到 数据 集合 的 最 住 解释 的 一 个 计算 模型 。 

贝 叶 斯 信念 网 络 能 够 显著 减少 完整 贝 叶 斯 模型 的 参数 数量 ， 并 展示 了 域 中 的 数据 〈 甚 至 没 
有 数据 ) 是 怎么 划分 和 推理 的 。 更 进一步 的 ， 问 题 域 的 模块 性 使 得 程序 设计 者 可 以 做 出 许多 完 
整 贝 叶 斯 方法 中 不 允许 的 独立 性 假设 。 在 大 多 数 推理 条 件 下 ， 没 有 必要 建立 一 个 大 的 联合 概率 
表 把 所 有 可 能 的 事件 和 证 据 的 组 合 的 概率 都 列 出 来 。 实 际 上 ， 人 类 专家 只 是 选取 他 们 认为 会 有 
影响 的 现象 ， 并 获取 反映 这 一 小 部 分 事件 的 概率 或 影响 数值 。 专 家 假定 所 有 其 他 的 事件 或 者 是 
独立 的 ， 或 者 是 它们 的 关联 很 小 可 以 忽略 掉 。 贝 叶 斯 信念 网 络 使 这 种 直觉 更 为 精确 。 

作为 贝 叶 斯 信念 网 络 的 一 个 例子 ， 再 次 
考虑 5.4 节 中 的 交通 问题 ， 表 示 在 图 9- 14 
中 。 回 忆 一 下 ,道路 施工 是 C， 事 故 是 A， 
存在 柱 色 桶 是 B， 堵 车 是 T， 闪 烁 的 灯 是 上 。 (BB) 栓 色 村 (T) 交通 阻塞 © 闪烁 的 灯 
要 计算 例子 中 所 有 参数 的 联合 概率 ， 采 用 完 
全 贝 叶 斯 方法 ,需要 特定 状态 下 所 有 参数 的 图 9-14 5.3 节 中 首次 介绍 的 交通 问题 的 图 形 模型 
知识 或 度量 方法 。 因 此 ， 用 变量 的 拓扑 排序 ， 联 合 概率 就 是 : 

p(C,A,B,T,L) =p(C)p(Al1 C)p(BI1 C,A)p(T1 C, A,B)p(L| C,A,B,T) 


这 个 联合 概率 中 参数 的 数量 是 2 ， 即 32。 这 个 表 会 随 着 包含 的 参数 的 数量 而 呈 指 数 增长 。 对 于 
一 个 任意 复杂 度 的 问题 ， 比 如 说 有 30 个 以 上 的 参数 ， 那 么 联合 分 布 表 将 会 有 超过 1 百 万 个 元 素 ! 

然而 注意 ， 如 果 可 以 假定 这 个 问题 中 的 所 有 参数 只 与 双亲 结 点 的 概率 相关 ， 即 假定 结 点 与 
其 他 祖先 无 关 ， 给 定 它们 双亲 结 点 的 知识 ，P(C, A, B, T,L) 的 计算 就 变 为 : 


P(C,A,B,T,L) =P(C)P(A)P(B1 C)P(TI C, A)P(LI A) 


为 了 更 好 地 看 一 下 所 做 的 简化 ， 来 看 以 前 等 式 中 的 P(B1 C, A) 。 在 上 面 的 等 式 中 ， 把 它 简 
化 为 P(B1 C) 。 这 是 基于 道路 施工 不 是 交通 事故 的 起 因 这 个 假设 。 类 似 地 ， 橙 色 桶 的 出 现 不 是 
交通 阻塞 的 起 因 ， 但 是 道路 施工 和 交通 事故 是 交通 阻塞 的 起 因 ， 所 以 有 结果 P(T 1 C, A) 而 不 是 
P(T1 C, A,B)。 最 后 ，P(L1 C, A,B,T) 简 化 为 P(L1 A) 。P(C, A, B,T, L) 的 概率 分 布 现在 只 有 
20 个 (而 不 是 32 个 ) 参数 。 如 果 看 一 个 带 有 30 个 变量 的 更 实际 的 系统 ， 并 且 每 种 状态 至 多 有 
两 个 双亲 结 点 ， 那 么 分 布 中 最 多 只 有 240 个 元 素 。 如 果 每 种 状态 有 3 个 双亲 结 点 ， 分 布 中 最 多 只 
有 490 个 元 素 : 这 比 完全 贝 叶 斯 方法 所 需 的 10 亿 要 少 得 多 多 了 ! 

在 信念 网 络 中 ， 只 需要 验证 结 点 和 它 的 双亲 结 点 之 间 的 独立 性 。 信 念 网 络 中 结 点 之 间 的 连 
接 表示 因果 关系 下 的 条 件 概率 。 专 家 运用 因果 推理 时 隐 含 的 假定 是 这 些 影响 是 有 向 的 ， 即 某 个 
事件 不 知 为 何 会 引起 网 络 中 的 其 他 事件 。 还 有 ， 因 果 推 理 是 不 能 循环 的 ， 即 结果 不 能 推 回 原 
因 自身 。 因 为 这 些 原因 ， 贝 叶 斯 信念 网 络 可 以 用 有 向 无 环 图 (DAG) ( 见 3.1.1 节 ) 来 表示 ， 
这 样 一 个 连贯 的 推理 可 以 看 成 是 因果 关系 的 路 径 。 贝 叶 斯 信念 网 络 是 所 谓 的 图 模型 的 一 个 
实例 。 


道路 施工 (C ) 交通 事故 
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在 交通 的 例子 中 ,我 们 的 条 件 更 强 ， 即 没有 无 向 环 路 。 这 就 让 我 们 对 每 个 结 点 的 概率 分 布 的 
计算 非常 简单 。 没 有 双亲 结 点 的 分 布 可 以 直接 查 到 。 和 孩子 结 点 的 数值 的 计算 只 用 到 双亲 结 点 的 
概率 分 布 ， 即 对 孩子 结 点 的 条 件 概率 表 和 双亲 结 点 的 分 布 做 适当 的 计算 。 这 是 可 能 的 ， 因 为 我 们 
不 必 考 虑 其 他 非 后 继 结 点 的 双亲 结 点 之 间 的 关联 (因为 该 网 络 是 有 向 无 环 图 ) 。 这 就 产生 了 一 种 
很 自然 诱导 的 分 离 ， 如 图 9-14 中 ， 交 通 事 故 与 橙色 桶 的 出 现 无 关 。 

我 们 用 下 面 的 定义 来 总 结 关 于 贝 叶 斯 信念 网 络 的 讨论 。 


定义 ”一 个 图 模型 称 为 贝 叶 斯 信念 网 络 (Bayesian belief network ，BBN) ， 如 果 图 上 标注 条 件 
概率 ， 并 且 是 有 向 无 环 的 。 另 外 ， 给 定 父 结 点 的 知识 ，BBN 假定 结 点 独立 于 非 后 继 结 点 。 

动态 贝 叶 斯 网 络 (dynamic Bayesian network ， DBN) 是 一 些 等 价 的 贝 叶 斯 网 络 ， 结 吉之 闻 以 
时 间 维 (有 向 ) 连接 。 我 们 在 9.3.4 节 和 第 13 章 中 对 一 般 的 DBN 进行 讨论 ， 也 可 以 参阅 Fried- 
man (1998) 或 Chahramani 和 Jordan (1997)。 


下 一 节 ， 将 考虑 人 类 专家 推理 时 隐 含 的 假定 : ( 隐 含 因果 ) 域 中 数据 的 有 无 可 以 划分 和 集中 
搜索 解释 。 这 种 现象 对 于 减 小 搜索 空间 复杂 性 也 有 重要 的 意义 。 


9. 3.2 有 向 图 模型 : d -可 分 


将 应 用 领域 表示 为 图 模型 的 一 个 重要 优点 是 信息 的 有 无 可 能 使 模型 可 分 割 ， 从 而 控制 搜索 
的 复杂 度 。 下 面 我 们 给 出 几 个 例子 和 支持 这 些 直觉 知识 的 d - 可 分 (d-separation〉 的 概念 。 

第 一 个 例子 ， 考 虑 汽车 发 动机 的 油 量 诊断 问题 : 假设 用 旧 的 活塞 环 引 起 油 的 过 量 消 耗 ， 这 又 
会 引起 很 低 的 油 量 读数 。 这 种 情况 如 图 9-15a 所 示 ， 图 中 A 代表 用 有 旧 的 活塞 环 ，V 代表 油 的 过 量 
消耗 ，B 代表 很 低 的 油 量 。 现 在 ， 如 果 并 不 知道 油 的 过 量 消耗 ， 那 我 们 就 会 有 用 旧 的 活塞 环 和 很 
低 的 油 量 之 间 的 因果 关系 。 但 是 ， 如 果 某 些 测试 能 给 出 油 过 量 消耗 的 状态 ， 那 么 用 旧 的 活塞 环 和 
很 低 的 油 量 就 是 相互 独立 的 。 

第 二 个 例子 : 假设 用 旧 的 活塞 环 可 以 引起 排出 蓝 色 废 气 ， 还 可 以 引起 很 低 的 油 量 。 这 种 情况 
如 图 9-15b 所 示 ， 图 中 V 代表 用 旧 的 活塞 环 ，A 代表 排出 蓝 色 废气 ，B 代表 很 低 的 油 量 。 如 果 我 
们 知道 用 旧 的 活塞 环 或 者 为 真 ， 或 者 为 假 ， 则 我 们 不 知道 排出 蓝 色 废气 和 很 低 的 油 量 是 否 是 相 
关 的 ; 如 果 不 知 道 用 旧 的 活塞 环 的 真 或 假 ， 则 排出 蓝 色 废气 和 很 低 的 油 量 是 相关 联 的 。 

最 后 ， 如 果 很 低 的 油 量 可 以 由 油 的 过 量 消耗 或 者 漏 油 引 起 ， 给 定 油 量 是 否 很 低 的 知识 ， 它 的 
两 个 可 能 的 起 因 就 是 相关 的 。 如 果 很 低 的 油 量 的 状态 未 知 ， 则 这 两 个 可 能 的 起 因 是 独立 的 。 而 且 
如 果 很 低 的 油 量 为 真 ， 则 建立 漏 油 为 真 ， 就 会 排除 解释 油 的 过 量 消 耗 。 在 上 面 两 种 情况 中 ， 有 关 
很 低 的 油 量 的 信息 是 推理 过 程 的 关键 因素 。 在 图 9-15c 中 就 可 以 看 到 这 种 情况 ， 图 中 A 代表 油 的 


过 量 消耗 ，B 代表 漏 油 ，V 代表 很 低 的 油 量 。 
2 


a ) 顺序 连接 b ) 分 支 连接 ec ) 汇合 连接 


图 9-15 图 9-15a 是 结 点 的 顺序 连接 ,如 果 V 没有 实例 化 , 则 A 和 B 之 间 有 影响 。 图 9-15b 是 分 
支 连 接 ， 如果 没有 实例 化 ，YV 的 孩子 结 点 之 间 有 影响 。 图 9- 15c 是 汇合 连接 ,如果 
是 未 知 的 ， 则 它 的 双亲 结 点 是 独立 的 ， 否 则 它 的 双亲 结 点 之 间 存 在 关联 


通过 定义 信念 网 络 (Pearl 1988 之 后 版 本 ) 中 结 点 的 d - 可 分 的 方法 来 使 这 些 直觉 知识 更 加 
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精确 。 


定义 (d- 可 分 ) ”有 向 循环 图 的 两 个 结 点 A 和 BB 是 d- 本 分 的 ， 如 果 它 们 之 间 的 所 有 路 径 
都 是 阻塞 的 。 一 条 路 径 是 图 中 任何 连续 的 连接 序列 ( 结 点 之 间 以 任意 方向 来 连接 ， 例 如 图 9-15b 
中 有 一 条 从 A 到 日 的 路 径 ) 。 如 果 一 条 路 径 上 有 这 样 的 中 间 结 点 V， 这 条 路 径 就 是 阻塞 的 ， 结 点 
V 有 下 面 两 个 属性 的 任意 一 个 属性 ， 

。 连接 是 连续 的 或 者 有 分 支 的， 并 且 结 点 V 的 状态 是 已 知 的 。 

。 连接 是 汇合 的 ， 并 且 结 点 V 和 它 的 孩子 结 点 都 没有 证 据 。 


下 面 给 出 连续 、 分 支 、 汇 合 结 点 关系 的 实例 ， 还 有 d - 可 分 是 怎么 影响 关键 路 径 的 ， 如 图 
9-16 所 示 。 

我 们 再 回 过 头 来 看 一 下 图 9-15， 说 明 一 p(S) (§) Season 
下 贝 叶 斯 信念 网 络 的 假定 是 怎样 简化 条 件 概 
率 的 计算 的 。 用 贝 叶 斯 公式 ， 任 意 联合 概率 ”prRIS) 
分 布 可 以 转化 为 条 件 概率 相 乘 的 形式 。 在 图 
9-15a 中 ， 变 量 A、V 和 B 的 联合 概率 是 : p(WSIR,W) 

P(A, V,B) =P(A)P(V| A)P(B| A,V) 

Slick sid 

运用 贝 叶 斯 信念 网 络 的 假定 ， 即 给 定 所 PISHWS) (SL) Slick sidowalk 
有 前 驱 结 点 的 知识 的 一 个 变量 的 条 件 概率 等 ” 图 9-16 贝 叶 斯 概率 网 络 示例 ， 每 个 结 点 旁边 标 出 
于 只 给 定 其 双亲 结 点 的 知识 的 条 件 概率 ， 可 了 概率 依赖 。 该 例子 来 自 于 Pear (1988) 
将 上 面 等 式 中 的 P(B1 A, V) 变 成 P(B 1 V) ， 因 为 V 是 B 的 直接 双亲 结 点 ,而 A 不是。 图 9-15 
中 三 个 网 络 的 联合 概率 分 布 是 ， 

a) P(A, V,B) =P(A)P(V| A)P(BI| V) 

b) P(V, A,B) =P(V)P(A| V)P(BI V) 

ce) P(A,B,V) =P(A)P(B)P(V | A,B) 


像 在 交通 的 例子 中 显示 ( 见 图 9-14) 的 那样 ， 对 一 个 大 的 贝 叶 斯 信念 网 络 ， 条 件 概率 中 的 
很 多 变量 可 以 消 掉 。 正 是 这 些 简 化 才 使 得 信念 网 络 和 其 他 图 模型 比 完全 贝 叶 斯 网 络 统计 起 来 更 
容易 处 理 。 下 面 我 们 介绍 一 个 更 加 复杂 的 包含 无 向 环 的 图 模型 ， 并 且 提 供 一 个 有 效 的 推理 算法 ， 
团 树 传播 (clique tree propagation ) 。 


9. 3.3 有 向 图 模型 : 一 个 推理 算法 


接 下 来 的 一 个 例子 ， 改 编 自 Pearl (1988) ， 给 出 了 一 个 更 复杂 的 贝 叶 斯 网 络 。 如 图 9-16 所 
示 ， 季 节 (season) 决定 了 下 十 (rain) 和 酒水 系统 酒水 (water) 的 概率 。 湿 的 人 行道 (wet 
sidewalk) 与 下 十 和 洒水 有 关 。 最 后 ， 人 行道 是 否 滑 (slick) 取决 于 它 是 否 是 湿 的 人 行道 。 在 图 
中 ， 表 示 出 了 概率 的 联系 ， 这 些 参 数 每 个 都 有 自己 的 双亲 结 点 。 还 要 指出 的 是 ， 同 交通 的 例子 相 
比 ， 人 行道 的 例子 如 果 是 无 向 图 ， 则 有 环 路 。 

我 们 要 问 ， 湿 的 人 行道 的 概率 p( WS) 怎么 来 表示 ? 这 不 能 像 前 面 那样 去 完成 ， 即 p(W) = 
p(W1 S)p(S) 或 者 p(R) =p(R1 S)p(S) 。WS 的 两 个 起 因 不 是 互相 独立 的 ， 例 如 ， 如 果 S = 
summer， 那 么 p(W) 和 p(R) 都 会 增 大 。 这 样 ， 这 两 个 变量 的 相互 关系 和 它们 与 8 的 相互 关系 膏 
必须 计算 出 来 。 在 这 种 情况 下 ， 我 们 可 以 做 ， 但 是 这 个 计算 是 随 WS 的 原因 数目 旦 指数 增长 的 。 
这 个 计算 如 表 9-3 所 示 。 现 在 只 计算 表 中 的 一 个 条 目 x， 其 中 只 和 W 都 为 true; 我 们 简化 一 下 ， 






CN Water{sprinkler) 


(WS) Wet sidewalk 


甸 9 音 不 现 害 务 们 天 抽验 理 257 





假定 季节 S 或 者 是 hot， 或 者 是 cold。 


x=p(R=t,W =t) 对 于 季节 S 的 两 种 (hot, cold) 情况 
=p(S=hot)p(R=t| S=hot)p(W =ti S =hot) + 
P(S=cold)p(R=tl S=cold)p(W=tl S=cold) 


用 类 似 的 方法 ， 表 9-3 中 剩余 部 分 也 可 以 ” 表 9-3 P(WS) 的 概率 分 布 ， P(WS) 是 给 定 S 的 影 
计算 出 来 。 这 样 就 构成 了 下 雨 和 酒水 系统 酒水 响 ，P(W) 和 P(R) 的 函数 。 我 们 计算 在 R =t 
的 联合 概率 。 这 个 较 大 的 “ 宏 元 素 ” 代 表 和 W =t 时 x 的 影响 
p(WS) =p(WS1 R, W) p(R, W) 。 我 们 这 里 
摆脱 掉 了 一 个 更 为 合理 的 计算 ， 如 上 所 述 ， 问 
题 是 这 个 计算 是 随 状 态 的 双亲 结 点 数 呈 指数 增 
长 的 。 

为 计算 p(WS) ， 我 们 称 这 个 宏 元 素 为 组 合 
变量 (combined variable) 或 团 〈clique)， 用 于 
计算 p(WS)。 我 们 引入 团 的 概念 是 为 了 用 无 
环 团 树 (clique tree) 来 蔡 换 图 9-16 中 DAG 的 约束 传播 ， 如 图 9-17 所 示 。 图 9-17a 中 的 矩形 框 表 
示 与 它 相 邻 的 上 面 和 下 面 的 困 所 共有 的 变量 。 传 递 相关 参数 给 下 一 个 相 邻 的 团 的 表 ， 随 着 参数 
的 数目 呈 指 数 增长 。 需 要 指出 的 是 团 中 必须 有 一 个 连接 变量 和 它 所 有 的 双亲 结 点 。 于 是 ,在 
建立 信念 网 络 或 其 他 图 模型 (知识 工程 的 过 程 》 时 ,需要 注意 有 多 少 个 变量 是 一 个 状态 的 双 
亲 结 点 。 团 还 是 重要 的 ， 如 图 9-17b 所 示 ， 通 过 团 的 完全 树 来 传递 信息 ， 团 的 完全 树 称 为 连接 
树 。 接 下 来 给 出 由 Laurintzen 和 Spiegelhalter (1988) 提出 的 从 一 个 贝 叶 斯 信念 网 络 产生 一 个 
连接 树 的 算法 。 

1) 对 信念 网 络 中 的 所 有 结 点 ， 把 有 向 的 连接 变 为 无 向 连接 。 

2) 对 任意 结 点 ， 在 它 的 双亲 结 点 之 间 连 线 (图 9-17b 中 R 和 W 之 间 的 虚线 ) 。 

3) 寻找 结果 图 中 长 度 超过 3 的 循环 ， 增 加 额外 的 连接 使 循环 的 长 度 减 到 3。 这 个 过 程 称 为 
三 角 测 量 。 

4) 用 得 到 的 三 角 化 的 结构 形成 连接 树 。 这 是 通过 寻找 最 大 团 (是 完全 子 图 且 不 是 一 个 更 大 
的 团 的 子 图 的 团 ) 的 方法 来 完成 的 。 这 些 团 中 的 变量 被 放 人 连接 中 ， 通 过 连接 任意 两 个 至 少 共 
有 一 个 变量 的 连接 来 产生 连接 树 ， 如 图 9-17a 所 示 。 

上 面 第 3 步 中 描述 的 三 角 测 量 过 程 至 关 重 要 ， 因 为 我 们 想 要 连接 树 在 传播 信息 时 计算 代价 最 
小 。 不 幸 的 是 ， 这 个 设计 最 优 代 价 连接 树 的 
决策 是 一 个 NP-hard 问题 。 幸 运 的 是 ， 通 常 一 
个 简单 的 贪心 算法 就 足以 产生 有 用 的 结果 。 
注意 图 9-17 中 的 连接 树 传递 信息 所 需 的 表 的 
大 小 是 : 2 "2 "2、2 "2 "2 和 2 "2。 

最 后 ， 我 们 采取 图 9-16 中 网 络 的 例子 ， 
并 返回 到 d - 可 分 的 问题 。 记 住 ，d -可 分 的 
要 点 是 通过 某 些 信息 ， 信 和 念 网 络 的 某 些 部 分 
在 计算 概率 分 布 时 可 以 忽略 掉 。 

1) 给 定 WS 是 已 知 的 ，SL 从 R、S 和 
W 中 dd- 可 分 。 图 9-17 贝 叶 斯 概率 网 络 的 连接 树 

2) d- 可 分 是 对 称 的 ， 即 给 定 WS 是 已 注 : 注意 我 们 开始 建立 对 矩形 及， 允 的 转移 表 








a ) 连接 树 2 ) 贝 叶 斯 概率 网 络 
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知 的 ，S 从 R、SL 和 W 中 d- Ee. 

3) 由 于 S、R 和 W 是 依赖 的 ,但 知道 S 时 ，R 和 W 是 d- 可 分 的 。 

4) 如 果 我 们 知道 WS， 0 可 分 的 ; 如 果 不 知道 WS, 则 R 和 W 是 d- 可 分 的 。 

5) 给 定 链 R 一 WS 一 SL， 如 果 我 们 知道 WS, 则 R 和 SL 是 d- 可 分 的 。 

在 知道 一 个 特定 状态 的 后 代 的 信息 时 ， 我 们 必须 小 心 。 例 如 ， 如 果 知 道 SL， 则 R 和 W 不 是 
d- 可 分 的 ， 因 为 在 知道 WS、R 和 W 不 是 d -可 分 的 情况 下 ，SL 与 WS 相关 。 

一 个 最 终 的 评论 : 贝 叶 斯 信念 网 络 近 似 地 反映 了 人 们 怎么 在 这 样 的 情况 下 进行 推理 : 在 复 
杂 的 领域 中 某 些 因 素 是 已 知 的 ， 并 与 其 他 相 联 系 形成 一 个 先 验 知识 。 因 为 推理 伴随 着 信息 的 进 
一 步 的 实例 化 ， 搜 索 被 进一步 限制 ， 结 果 搜 索 更 有 效率 。 这 个 搜索 的 效率 与 使 用 完整 联合 分 布 的 
方法 形成 强烈 的 对 比 ， 信 息 越 多 ， 对 统计 联系 的 需要 越 强烈 ， 并 呈 指 数 增长 ， 同 时 也 需要 更 广泛 
的 搜索 。 

关于 建立 信念 网 络 和 当 获 取 到 新 的 证 据 时 传播 论点 ， 有 许多 算法 可 用 。 我 们 尤其 推荐 Pearl 
(1988) 的 消息 传递 方法 ， 以 及 Lauritzen 与 Spiegelhalter (1988 ) 提出 的 团 树 三 角 测 量 方法 。 
Druzdel 与 Henrion (1993) 还 提出 了 在 网 络 中 传播 影响 的 算法 。Dechter (1996) 给 出 了 桶 排除 算 
法 作为 概率 推理 的 一 个 统一 框架 。 

在 下 一 节 中 ,我们 介绍 动态 贝 叶 斯 网 络 。 


9. 3.4 有 向 图 模型 : 动态 贝 叶 斯 网 络 


下 面 我 们 来 看 一 种 一 般 化 的 贝 叶 斯 信念 网 络 , 动态 (或 时 间 ) 贝 叶 斯 网 络 (dynamic，or 
temporal ，Bayesian network ，DBN) ， 支 持 DBN 的 思想 是 用 一 组 随机 变量 表示 域 的 状态 或 观测 的 时 
间 ， 而 不 仅仅 是 单独 的 随机 变量 。 使 用 这 种 扩展 ， 贝 叶 斯 信念 网 络 可 用 于 表示 不 同 视 角 的 变量 之 
间 的 条 件 独 立 性 ， 如 分 布 于 多 个 时 间 片 中 。 

大 多 数 人 类 已 经 遇 到 的 和 准备 聪明 应 对 的 事件 ， 都 和 时 间 有 关 : 它们 都 会 在 某 段 时 间 表 现 
出 来 。 图 9-18 和 图 9-19 是 两 个 例子 。 在 图 9-18 中 ,我 们 使 用 前 面 的 图 9-14 的 交通 模型 ， 将 其 
映射 到 时 间 片 上 。 这 或 许 能 反映 司机 的 观点 随时 间 的 变化 ， 假 设 逐 分 钟 地 ， 由 贝 叶 斯 信念 网 络 的 
参数 改变 来 反映 。 在 第 一 个 时 间 片 司机 只 知道 车 速 降低 了 ， 第 二 个 时 间 片 注意 到 橙色 桶 的 出 现 ， 
第 三 个 时 间 片 发 现 了 还 有 更 多 检 色 桶 ， 等 等 。 我 们 希望 DBN 能 反映 这 种 不 断 增长 的 对 道路 建设 
的 察觉 ， 同 时 减少 对 发 生 事故 的 估计 。 


一 一 一 和 
仗 全 b 
人 PT 


pT | pl 
te | MM 


图 9-19 动态 贝 叶 斯 网 络 分 析 的 典型 时 间 序 列 数据 
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图 9-19 是 一 个 来 自 复杂 环境 的 信号 的 采样 数据 。( 实际 是 直升机 旋翼 系统 中 热量 、 振 动 和 其 
他 多 种 信号 的 乘积 。) 这 种 情况 下 DBN 必须 测量 的 是 ， 这 些 信号 总 体 上 如 何 改 变 以 及 如 何 为 控制 
整个 系统 的 “运行 健康 ”提供 策略 。 在 13.2 节 中 ， 会 进一步 讨论 这 个 例子 ， 并 更 为 精确 地 定 
义 DBN。 

DBN 最 常用 来 跟踪 两 类 随时 间 变 化 的 系统 。 一 种 是 图 9-18 和 图 9-19 中 描述 的 时 变 序 列 ， 另 
一 种 常见 于 随时 间 的 自然 现象 ， 比 如 自然 语言 分 析 应 用 中 的 音素 或 单词 抽样 。 注 意 ， 在 图 模型 的 
有 向 或 无 向 边 上 ， 表 示 同 一 时 间 片 内 不 同 随机 变量 之 间 的 相互 关系 (瞬时 相互 关系 ) 是 可 能 的 。 
然而 图 中 反映 时 序数 据 的 元 素 之 间 的 相互 关系 一 定 要 由 有 向 图 采集 。 

总 结 : 如 果 连 接 一 组 表示 时 间 相关 数据 的 图 模型 的 每 一 条 边 都 是 针对 时 间 维 的 ， 那 么 这 个 
模型 称 为 动态 贝 叶 斯 网 络 。 这 里 的 DBN 也 可 以 用 于 捕获 非 时 序 的 数据 ， 比 如 语言 的 处 理 ， 新 的 
信息 反映 了 状态 的 变化 。 其 他 关于 DBN 的 细节 请 参考 Friedman (1998) 或 Ghahramani 和 Jordan 
(1997) 以 及 13.2 节 。 


9. 3.5 马尔 可 夫 模 型 : 离散 马尔 可 夫 过 程 


在 3.1.2 节 ， 我 们 介绍 了 有 限 状 态 自 动机 的 图 形 表示 ， 其 状态 根据 输入 流 的 内 容 转 变 。 状 态 
及 其 转换 反映 了 形式 语言 的 属性 。 下 面 我 们 介绍 有 限 状 态 接受 器 (finite state acceptor) 或 者 叫 摩 
尔 机 《Moore machine) ， 能 够 “识别 ”具有 不 同属 性 的 字符 串 的 状态 自动 机 。 在 5.3 节 ， 我 们 介 
绍 了 概率 有 限 状 态 自动 机 (probabilistic finite state machine) ， 状 态 自 动机 的 下 一 个 状态 函数 表示 
为 对 当前 状态 的 概率 分 布 。 离 散 马 尔 可 夫 过 程 (discrete Markov process) 就 是 这 种 方法 的 特例 ， 
系统 忽略 其 输入 值 。 

图 9-20 是 一 个 有 四 个 不 同 状 态 的 马尔 可 夫 状 态 机 (Markov state machine) ， 有 时 也 称 为 马 
尔 可 夫 链 (Markov chain) 。 系 统 的 状态 可 以 描述 为 在 任何 时 间 段 都 处 于 状态 集合 S 中 的 状态 
之 一 ，S1，S2, S$s, …, Su。 系统 在 规则 间隔 的 离散 的 时 间 点 进行 状态 变化 ， 并 且 有 可 能 保持 同一 
状态 不 变 。 我 们 将 时 间 的 有 序 集合 记 为 T， 集 合 中 的 元 素 表示 离散 时 间 点 ， 记 为 已 ，b ， 避 ，…， 
to 系统 根据 与 每 个 状态 有 关 的 概率 分 布 改变 状态 。 我 们 将 自动 机 在 时 刻 t 所 处 的 实际 状态 记 
为 gto | 

通常 情况 下 ， 这 个 系统 的 完整 概率 描述 需要 用 前 驱 状 态 的 形式 定义 当前 状态 o.。 这 样 ， 系 
统 在 任何 特定 状态 c 的 概率 就 是 : 


p(o) =p(o., | Ot_1: Ct_2; O13 …) 





图 9-20 有 si, ss,…, S$4 四 个 状态 的 马尔 可 夫 状 态 机 或 者 说 马尔 可 夫 链 


其 中 o,_; 表 示 o, 的 前 豫 状 态 。 在 一 阶 马尔 可 夫 链 (first-order Markov chain) 中 ， 当前 状 寒 的 
概率 是 仅 与 直接 前 驱 状态 有 关 的 函数 : 
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p(o:) =p(o., | ot-1) 


其 中 cl-, 是 ct 的 前 驱 。( 通 常 ，n 阶 马尔 可 夫 链 中 的 状态 依赖 于 它 的 前 n 个 状态 。) 我 们 也 假设 
这 个 等 式 的 右边 是 时 间 不 变 的 ， 也 就 是 说 ,假设 在 系统 的 所 有 时 间 范 围 内 ， 特 定 状态 之 间 的 转换 
保持 相同 的 概率 关系 。 基 于 这 个 假设 , 现在 我 们 能 够 建立 任意 两 个 状态 s 和 sj 之 间 的 转移 概 
率 ai : 


ai =plct=sil ci=o),1<ijs<nN 


记 着 1 有 可 能 等 于 j， 这 种 情况 下 系统 保持 同一 个 状态 不 变 。 对 这 些 概率 分 布 的 一 般 性 约束 也 要 
满足 ;对 每 个 状态 si : 


N 
ai 宇 0, 并 且 2 ai =1 
1=1 


刚才 描述 的 系统 称 为 一 阶 可 观测 的 马尔 可 夫 模 型 (first - order observable Markov model) ， 因 为 系 
统 的 输出 是 每 个 离散 时 刻 的 状态 集合 ， 而 且 系 统 的 每 个 状态 对 应 一 个 物理 (可 观察 的 ) 事件 。 
下 面 定 义 可 观测 的 马尔 可 夫 模 型 ， 然 后 给 出 一 个 例子 。 


定义 ( (可 观测 的 ) 马尔 可 夫 模 型 ) ”一 个 图 模型 称 为 (可 观测 的 ) 马尔 可 夫 模 型 ， 当 图 
为 有 向 图 ， 并 且 在 某 个 离散 时 刻 t， 到 达 一 组 状态 S 中 任 一 状态 S| 的 概率 是 S 中 前 一 时 刻 对 应 状 
态 的 概率 分 布 的 函数 。S 中 的 每 个 状态 S 对 应 一 个 物理 可 观察 的 情况 。 

一 个 可 观测 的 马尔 可 夫 模 型 是 一 阶 的 ， 当 其 在 任 一 时 刻 t 处 于 状态 si 的 概率 只 是 与 前 一 时 刻 
t 一 1 所 处 状态 sS， ;有关 的 函数 ，s, 和 S，; 都 是 S 中 可 观察 的 状态 。 


注意 ， 任 何 概率 分 布 都 具有 马尔 可 夫 模 型 的 属性 。 这 一 方法 的 动力 来 自 于 一 阶 假设 。 作 为 可 
观测 的 一 阶 马 尔 可 夫 模 型 的 一 个 例子 ， 可 以 考虑 某 一 特定 地 点 中 午时 的 天 气 。 假 设 这 个 地 点 的 
天 气 变量 weather 具有 四 个 不 同 的 离散 状态 : s = sunny ( 晴 )，s。 = cloudy (多 云 ) ，ss =fog 
( 雾 ) ，s4 =precipitation (降水 ) 。 这 个 马尔 可 夫 模 型 的 时 间 间 隔 是 连续 的 每 天 的 中 午 。 我 们 还 假 
设 weather 的 状态 之 间 的 转变 在 长 时 间 内 保持 恒定 (对 许多 地 点 不 成 立 !)， 并 且 可 观测 的 
weather 状态 可 以 许多 天 保持 不 变 。 这 一 情况 表示 在 图 9-20 中 ， 由 状态 转换 矩阵 ai 支持 : 与 
3.1.2 节 中 的 有 限 状态 自动 机 类 似 ， 在 这 个 转换 矩阵 a; 中 ， 第 一 行 表 示 从 s1 到 每 个 状态 的 转换 ， 
包括 保持 相同 状态 ; 第 二 行 表 示 从 ss 到 每 个 状态 的 转换 ， 以 此 类 推 。 注 意 ， 在 每 个 状态 的 转换 
的 概率 分 布 需要 满足 一 定 的 属性 ， 和 为 1( 即 每 一 行 的 和 都 为 1) 。 


S1 S3 S4 





S1| 0.4 0.3 02 0.1 
ai = s2| 0.2 0.3 0.2 0.3 
s3| 0.1 0.3 0.3 0.3 
S4| 0.2 0.3 0.3 0.2 


现在 可 以 向 这 个 模型 提问 了 。 假 设 今天 s, 是 sunny; 那么 未 来 5 天 保持 sunny 的 概率 是 多 
少 ? 或 者 问 未 来 5 天 分 别 是 sunny、sunny、cloudy、cloudy、precipitation 的 概率 是 多 少 ? 我 们 
来 求解 第 二 个 问题 。 希 望 用 这 个 模型 在 第 一 天 s 是 sunny 的 情况 下 确定 下 面 的 状态 集合 的 概率 : 


O 〇 = Si, Si,Si,S。, S,, Ss 


根据 一 阶 马 尔 可 夫 模 型 ， 这 个 可 观察 状态 序列 的 概率 M 是 : 
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p(O | M) = p(s1, s1, s1, $2, s2, S4 | M) 
= p(sS1) x p(s1 | $1) x p(s1 | s1) x p(s2 | $1) x p(s2 | sz) x p(s4 | s2) 
= 1X a11 X a11 X a12 X a22 X a24 
= 1 x (0.4) x (0.4) x (0.3) x (0.3) x (0.3) 
= 0.00432 
这 个 等 式 是 从 一 阶 马尔 可 夫 模 型 假设 得 出 的 ， 其 中 ， 每 天 天 气 的 状态 只 是 前 一 天 天 气 的 函数 ， 并 
且 我 们 观察 到 的 事实 是 今天 晴 。 | 
我 们 可 以 扩展 这 个 例子 ， 已 知 今天 的 天 气 ， 确 定 接 下 来 的 1 天 天 气 保 持 不 变 的 概率 ， 即 天 气 
在 第 t+1 天 发 生变 化 。 对 于 任意 天 气 状 态 s 和 马尔 可 夫 模型 M， 我 们 有 观察 D; 
O ={s,ss,…,ss}， 其 中 有 t+1 个 si， 并且 ssi， 那 么 : 


P(O| M) =1 xat x(1—a,) 


其 中 a 是 状态 si 转换 到 自己 的 概率 。 这 个 值 称 为 模型 M 的 状态 si 的 tt 时间 区 间 离 散 概率 密度 函 
数 (discrete probability density function) 。 该 时 间 密 度 函 数 是 马尔 可 夫 模型 状态 驻 留 时 间 的 一 种 表 
示 。 基 于 这 个 值 ， 给 定 任意 第 一 个 可 观察 的 状态 si， 我 们 可 以 用 模型 M 来 计算 该 状态 的 期 望 值 ， 
或 者 说 期 望 区 间 d,: 


di = >》 da) (1 —an) 
d='1 
当 nn 趋向 于 无 穷 时 ， 化 为 : 
d=_l.. 
1-ai 


例如 ， 用 此 模型 算出 的 连续 降水 天 的 期 望 值 是 1/ (1 -0.3)， 即 1.43。 同 样 ， 连 续 晴天 的 期 望 
值 是 1. 67。 下 面 我 们 总 结 一 下 各 种 马尔 可 夫 模 型 的 变形 ， 其 中 多 数 细节 会 在 第 13 章 中 讨论 。 


9. 3.6 马尔 可 夫 模型 : 变形 


此 前 我 们 所 见 到 的 马尔 可 夫 模 型 中 ， 每 个 状态 对 应 于 一 个 可 观察 的 离散 物理 事件 ， 比 如 一 
天 中 特定 时 刻 的 天 气 值 。 这 类 模型 实际 上 有 很 大 局 限 ， 现 在 将 其 一 般 化 为 更 为 广泛 的 一 类 模型 。 
我 们 简单 说 明 几 个 方法 。13.1 节 中 会 提出 更 易 理解 的 隐 马 尔 可 夫 模 型 表示 ， 以 及 几 个 重要 的 
变形 。 

隐 马 尔 可 夫 模 型 

在 前 面 提出 的 马尔 可 夫 模 型 中 ， 每 个 状态 对 应 于 一 个 可 观察 的 离散 物理 事件 。 在 隐 马 尔 可 
夫 模 型 (HMM) 中 ， 观 察 到 的 值 假 设 为 当前 隐 含 状态 的 概率 函数 。 

例如 ， 已 观察 到 的 人 的 语音 是 说 话 者 所 要 发 出 的 某 个 语音 的 反映 。 口 中 的 声音 仅 在 概率 上 
和 说 话 者 的 意图 或 实际 状态 相关 联 。 因 此 ，HMM 是 双重 嵌 套 的 随机 过 程 ， 其 中 可 观察 的 随机 过 
程 〈 说 话 者 的 声音 ) 由 不 可 观察 的 随机 过 程 ( 说 话 者 的 状态 或 意图 ) 支持 。 如 9. 3.2 节 所 见 ， 
HMM 是 DBN 的 一 个 特例 。 其 他 细节 请 参见 13. 1 节 、 13. 2 节 和 Rabiner (1989)。 


半 马 尔 可 夫 模型 

半 马 尔 可 夫 模 型 〈semi-Markov model) 是 二 分 量 (two-component) 马尔 可 夫 链 。 第 一 个 分 量 
负责 下 一 个 状态 转换 (next state transition) 的 选择 ， 第 二 个 分 量 负责 转换 时 间 (transition time) 。 
当 半 马尔 可 夫 模 型 进入 si 状态 并 在 + 时 间 保 持 不 变 ， 其 时 间 由 状态 驻 留 时 间 的 概率 分 布 确定 。 
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一 县 过 了 时间， 状态 就 根据 状态 转换 概率 分 布 转移 到 下 一 个 状态 s,,， 另 一 个 状态 转换 时 间 
ti,1 再 次 被 选中 。 与 传统 马尔 可 夫 模 型 特定 的 固定 转移 时 间 相 比 ， 半 马尔 可 夫 模 型 支持 任意 的 状 
态 驻 留 概率 分 布 。 


马尔 可 夫 决 策 过 程 

另外 两 种 广泛 用 于 强化 学 习 中 的 马尔 可 夫 模 型 分 别 是 : 马尔 可 去 决策 过 程 (Markov decision 
process ，MDP) 和 部 分 可 观测 的 马尔 可 夫 决 策 过 程 (partially observable Markov decision process， 
POMDP) 。MDP 是 定义 在 两 种 空间 上 的 : 所 研究 问题 的 状态 空间 和 可 能 的 动作 空间 。 状 态 空间 中 
到 新 状态 的 转换 依赖 于 当前 的 状态 和 当前 的 动作 ， 并 受 条 件 概率 分 布 的 影响 。 在 每 个 状态 上 都 
有 根据 当前 状态 和 动作 计算 出 的 奖赏 值 。 典 型 的 ， 强 化 学 习 的 目的 就 是 在 当前 条 件 下 最 大 化 奖 
赏 值 的 累积 函数 。 

当 MDP 在 使 用 基于 概率 的 转换 矩阵 之 前 使 用 已 观测 到 的 〈 已 确定 的 ) 状态 选择 下 一 个 状态 
时 ，POMDP 仅 有 关于 当前 状态 的 概率 知识 〈 和 用 于 决定 下 一 个 状态 的 概率 矩阵 ) 。 因 此 POMDP 
可 以 通过 计算 为 复杂 环境 验证 难 解 性 。 我 们 将 在 10.7 节 和 13. 3 节 进 一 步 学 习 MDP 和 POMDP， 
以 及 强化 学 习 。 


9.3.7 BBN 概率 建 模 的 一 阶 蔡 代 方案 


到 此 为 止 ，9.3 节 中 已 经 提出 了 不 确定 推理 基于 命题 演算 的 表示 。 当 然 要 问 在 什么 意义 上 基 
于 概率 谓词 逻辑 的 模型 可 以 用 于 推理 呢 ? 全 谓词 逻辑 表示 的 优点 是 说 明 性 语义 和 基于 变量 表示 
的 框架 。 传 统 基于 命题 逻辑 方法 的 典型 局 限 包括 处 理 曲 声 和 不 确定 性 的 有 限 能 力 以 及 表示 的 静 
态 观点 。 

因此 9.3 节 中 提出 的 册 叶 斯 和 马尔 可 夫 模型 局 限 在 命题 级 的 表示 上 ， 在 表示 某 种 分 布 上 一 般 
的 (基于 变量 的 ) 关系 上 会 显得 笨重 ,例如 ，VX male(X) 一 smart(X) (0.49，0.51)。 很 多 负 
责问 题 域 需要 这 种 表达 式 级 别 。 

能 够 表达 重复 、 递 归 和 潜在 的 无 穷 结 构 ， 对 于 复杂 域 尤其 是 诊断 与 预测 领域 也 很 重要 。 所 
以 ， 如 果 想 表示 状态 随时 间 变 化 的 系统 必须 要 有 具 代 表 性 的 能 力 。 这 需要 一 个 递归 的 或 “循环 
直至 完成 ” 式 的 控制 体系 。 如 果 想 要 动态 重建 传统 的 BBN， 必 须 被 迫 重建 全 部 时 间 片 上 的 整个 
网 络 ， 因 为 这 些 结构 缺少 说 明 性 的 和 时 间 导 向 的 语义 。 

近来 的 研究 活动 已 经 为 图 模型 创建 了 多 种 重要 的 扩展 ， 包 括 许 多 一 阶 〈 基 于 变量 且 递 归 的 ) 
系统 。 也 有 许多 多 级 可 分 解 贝 叶 斯 模型 。 在 这 些 新 的 建 模 形 式 方法 中 ， 我 们 列 出 几 个 支持 这 种 表 
示 的 方法 。 第 13 章 中 讲述 机 器 学 习 的 概率 方法 时 ， 给 出 了 几 种 这 些 表 示 的 例子 。 

在 知识 库 中 建立 贝 叶 斯 网 络 (Haddawy 1994 ，Ngo and Haddawy 1997，Ngo et al. 1997 ) 

Haddawy、Ngo 及 其 同事 使 用 贝 叶 斯 信念 网 络 合 并 了 一 个 一 阶 逻 辑 系统 。 结 果 他 们 创建 了 一 
种 一 阶 概率 逻辑 ， 用 作 表 示 语 言 以 知识 库 的 形式 描述 一 类 特定 的 网 络 。( 贝 叶 斯 ) 知识 库 的 形式 
语义 通过 库 中 严格 定义 的 语句 来 起 作用 。Haddawy 和 Ngo 提出 了 一 种 正确 性 可 证 的 贝 叶 斯 网 络 生 
成 算法 ， 用 于 实现 潜在 逻辑 型 语言 的 形式 语义 与 知识 库 的 独立 语义 相 结合 。 这 种 生成 算法 的 一 
个 特点 是 避免 通过 用 户 指定 的 建议 在 网 络 中 产生 不 相关 结 点 。 

Haddawy 和 Ngo 认为 当知 识 库 变 大 时 推理 的 效率 会 变 低 。 他 们 提出 使 用 上 下 文 信息 为 知识 库 
的 概率 句子 索引 的 方法 来 纠正 。 当 模型 生成 算法 创建 网 络 时 ， 会 忽略 知识 库 中 和 当前 任务 不 相 
关 的 句子 。 生 成 的 模型 会 比 使 用 了 整个 知识 库 创 建 的 模型 显著 减 小 。 由 Haddawy、Ngo 及 其 同事 
们 提出 的 这 种 方法 是 随机 逻辑 建 模 领 域 的 研究 之 一 ， 这 种 建 模 方法 明确 地 使 用 有 关 域 中 的 上 下 
文 信息 ， 并 以 此 集中 关心 相关 的 信息 ， 降 低 用 于 解决 特定 推理 任务 模型 的 大 小 。 
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贝 了 时 斯 逻辑 程序 (Kersting and DeRaedt 2000) 

贝 叶 斯 逻辑 程序 (Bayesian logic program，BLP) 提供 了 一 种 代表 性 的 框架 ， 包 括 妇 辑 程序 设 
计 和 图 模型 。 具 体 地 ，BLP 结合 了 贝 叶 斯 信念 网 络 和 和 霍 思 子 名 钦 辑 (Prolog， 见 14. 3 节 ) 。 如 果 
给 定 具 体 查询 ， 系 统 使 用 带 有 不 确定 参数 的 一 阶 规则 集 ， 产 生 贝 叶 斯 网 络 来 回答 查询 。 结 果 表 示 
易于 解释 ， 设 计 者 为 模型 指定 的 理论 语义 与 2.3 节 的 方法 相似 。 


概率 关系 模型 (Friedman et al. 1999 ，Getoor et al. 2001) 

Friedman 、Getoor 与 其 同事 研究 了 另 一 种 一 阶 概率 系统 的 方法 一 一 概率 关系 模型 (probabilis- 
tic relational model，PRM) 。PRM 没有 创建 说 明 性 逻辑 类 语言 ， 而 是 在 对 象 类 别 上 建立 了 概率 模 
型 。PRM 在 类 级 别 上 定义 概率 约束 ， 这 样 这 些 约束 可 用 于 同类 的 任意 对 象 。 使 用 PRM 可 以 描述 
关于 类 别 属性 之 间 的 概率 依赖 性 。 许 多 PRM 的 扩展 允许 支持 不 同 细节 级 别 概率 依赖 的 子 类 (Ge- 
toor et al. 2001) 。 类 别 层 次 结构 可 以 在 个 体 级 别 〈 传 统 贝 叶 斯 信念 网 络 ) 和 类 级 别 上 建 模 。PRM 
更 进一步 的 扩展 ， 除 了 可 以 处 理 固定 的 模型 关系 结构 ， 还 可 以 处 理 不 确定 的 模型 结构 。 从 这 方面 
看 ，PRM 和 关系 数据 库 有 紧密 的 联系 ， 比 如 它们 之 间 相 似 的 结构 。 


马尔 可 夫 逻 辑 网 (Richardson and Domingos 2006 ) 

Richardson 和 Domingos 提出 了 另 一 种 基于 逻辑 的 概率 系统 ， 称 为 马尔 可 夫 逻 辑 网 (Markov 
logic network ，MLN) 。 多 数 先前 的 基于 过 辑 的 随机 建 模 方法 都 通过 最 普通 的 霍 因子 句 表 示 来 使 用 
普通 逻辑 的 有 限 子 集 。 为 了 消除 逻辑 的 局 限 ，Richardson 和 Domingos 使 用 普通 一 阶 逻 辑 ， 其 中 的 
语句 被 转换 为 合 取 范式 (conjunctive normal form，CNF ) 。 他 们 也 使 用 马尔 可 夫 随 机 场 ( Pearl 
1988) 作为 逻辑 的 概率 相对 部 分 ， 主 要 区 别 于 前 面 描述 的 系统 ( 贝 叶 斯 信念 网 络 是 目前 使 用 最 
多 的 表示 方法 ) 。 所 以 ， 从 CNF 中 你 辑 句 子 到 马尔 可 夫 随 机 场 的 映射 是 直接 的 。MLN 是 第 一 个 
带 有 完整 映射 的 理论 框架 ， 该 映射 是 从 具有 函数 符号 的 一 阶 谓词 演算 到 概率 分 布 的 映射 。 


多 环 轴 辑 (Pless et al. 2006, Chakrabarti et al，2006 ，Sakhanenko et al. 2006 ) 

多 环 远 和 辑 〈loopy logic) 是 一 阶 图 灵 完 备 的 说 明 性 概率 语言 。 其 名 字 来 源 于 所 使 用 的 多 环 信 
念 传 播 算 法 (loopy belief propagation algorithm，Pearl 1998 ) 。 其 基于 逻辑 的 说 明 性 表示 第 一 次 翻 
译 到 马尔 可 夫 随 机 场 中 。 具 有 期 望 最 大 化 (expectation maximization，EM) 算法 的 参数 学 习 与 多 
环 信念 传 播 结 合 良 好 。 我 们 将 在 13. 2 节 中 演示 多 环 逻 辑 系统 ， 以 及 它 在 马尔 可 夫 随 机 场 和 基于 
EM 的 参数 学 习 中 的 使 用 。 

对 传统 BBN 在 一 阶 图 灵 完 备 方面 的 进一步 扩展 有 很 多 种 。 一 阶 统计 建 模 的 进一步 例子 请 人 参 
考 以 下 内 容 : Pffefer (2001) 的 IBAL 语言 ，Pless 和 Luger (2002) 的 随机 Lambda 演算 。 面 向 对 
象 随机 表示 请 参考 : Koller 和 Pfeffer 1997; Pfeffer et al. 1999; Xiang et al. 2000; Pless et al. 2000。 
随机 方法 在 AI 领域 中 非常 重要 ， 例 如 用 概率 主体 进行 问题 求解 (Kosoresow 1993 ) 。 我 们 会 在 13 
章 中 看 到 随机 方法 在 机 器 学 习 上 的 应 用 ， 在 15. 4 节 看 到 其 在 自然 语言 处 理 上 的 应 用 。 


9.4 结语 和 参考 文献 


从 人 工 智能 的 研究 一 开始 ， 就 有 一 部 分 学 者 认为 逻辑 和 它 的 扩展 足以 用 来 表示 和 刻画 智 能 。 
人 们 提出 了 很 多 一 阶 谓词 演算 之 外 的 办 法 来 描述 不 确定 条 件 下 的 推理 : 

1) 多 值 逻辑 。 它 采用 增加 新 的 真 值 变量 的 方法 来 扩展 逻辑 ， 比 如 在 true 和 false 之 外 增加 
unknown。 它 可 以 用 来 区 分 断言 ， 例 如 已 知 为 假 和 那些 不 能 简单 认为 为 真 的 断言 。 

2) 模 态 远 辑 。 它 增加 操作 符 来 处 理 知识 与 信念 、 必 要 性 与 可 能 性 的 问题 。 在 本 章 中 介绍 了 
模 态 操作 符 unless 和 is consistent with 。 
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3) 时 序 逻 辑 。 它 使 我 们 可 以 量化 与 时 间 有 关 的 表达 式 ， 比如 表达 式 一 直 为 真 或 者 将 来 菜 个 
时 间 为 真 。 

4) 高 阶 逻辑 。 很 多 类 知识 涉及 高 阶 的 概念 ， 它们 的 谓词 不 仅仅 是 变量 ， 也 可 以 被 量化 。 我 
们 真 的 需要 高 阶 逻 辑 来 处 理 这 些 知识 吗 ， 或 者 说 只 用 一 阶 逻辑 可 以 完成 吗 ? 如 果 要 用 到 高 阶 逻 
辑 ， 最 好 用 多 少 阶 呢 ? 

5) 定义 、 原 型 和 例外 的 逻辑 表示 。 例外 常 被 看 成 是 一 个 可 定义 系统 的 必要 特征 。 但 是 ， 对 
例外 的 不 慎 使 用 会 破坏 表示 的 语义 。 另外 一 个 问题 是 定义 和 原型 之 间 的 区 别 ， 原型 即 个 体 的 典 
型 代表 。 什 么 才 是 一 个 类 的 属性 和 一 个 典型 成 员 的 属性 之 间 的 明确 差别 呢 ? 典型 个 体 怎么 来 表 
示 呢 ? 何 时 原型 比 定义 更 为 适合 呢 ? 

基于 逻辑 的 表示 仍然 是 一 个 重要 的 研究 领域 (McCarthy 1968, Hayes 1979, Weyhrauch 1980, 
Moore 1982, Tumer 1984)。 

还 有 很 多 真 值 维护 系统 (TMS) 推理 方面 的 成 果 。 基于 逻辑 的 TMS 建立 在 McAllester 
(1978) 工作 的 基础 之 上 。 在 LTMS 中 ， 命 题 之 间 的 关系 是 用 子 句 来 表示 的 ， 这 些 子 句 用 来 推出 
它们 所 描述 的 命题 的 真 值 。 另 外 一 种 办 法 一 多 信念 推理 程序 MBR 与 ATMS 推理 程序 差不多 
(deKleer 1984) ; 类 似 的 观点 可 以 在 Martins 和 Shapiro (1983) 中 看 到 。MBR 基于 称 为 SWM * 的 
逻辑 语言 ， 这 种 语言 用 来 描述 知识 的 状态 。 用 来 检查 知识 库 推理 中 不 一 致 性 的 算法 可 以 在 Gins- 
burg (1997) 和 Martins (1990，1991) 中 找到 。 想 了 解 更 多 支持 JTMS 的 算法 请 参阅 Doyle 
(1983) 或 者 Reinfrank (1989)。 默认 侵 辑 允许 系统 扩展 推出 的 任何 定理 作为 更 进一步 推理 的 公 
理 。Reiter 与 Criscuolo (1981) 和 Touretzky (1986) 发 展 了 这 些 问题 。 

除了 该 领域 最 初 的 论文 ( Doyle 1979, Reiter 1985 ; deKleer 1986; McCarthy 1977，1980) 外 ， 
还 有 丰富 的 文献 是 关于 非 单调 推理 、 信念 逻辑 和 真 值 维护 的 。 对 于 随机 模型 请 参阅 Pearl (1988) 
的 《Probabilistic Reasoning in Intelligent Systems》、Shafer 和 Pearl (1990) 的 《Readings in Uncer- 
tain Reasoning》、Davis (1990) 的 《 Representations of Commonsense Knowledge》， 还 有 近期 AAAI、 
UAI 和 TCAI 的 《会 议 录 中 的 ) 大 量 文 章 。 我 们 推荐 Stuart Shapiro 写 的 《The Encyclopedia of Arti- 
ficial Intelligence》 (1992 年 第 2 版 ) ， 这 本 书 涵盖 了 本 章 中 的 很 多 推理 模型 。Josephson 和 Joseph- 
son (1994) 出 版 了 在 反 绎 推理 方面 的 论文 集 《Abductive Inference: Computation, Philosophy, 
and Technology》。 还 可 以 看 《Formal Theories of the Commonsense World》 (Hobbs and Moore 1985 ) 。 
在 因果 推理 方面 ，Pearl (2000) 对 理解 世界 上 的 因果 关系 的 概念 做 出 了 贡献 。 

对 限定 逻辑 和 最 小 模型 逻辑 更 进一步 的 研究 可 以 查阅 Genesereth 与 Nilsson (1987)、 Lifschitz 
《1986) 和 McCarthy (1986) 。 限 定 逻 辑 的 另外 一 个 贡献 是 Perlis (1988) 关于 智能 主体 在 缺少 知 
识 情 况 下 的 推理 。Ginsburg (1987) 编辑 了 有 关 非 单调 系统 的 重要 论文 集 : 《Readings in Nonm- 
onotonic Reasoning》。 

模糊 系统 方面 的 更 深入 的 读物 ， 我 们 推荐 Lotfi Zadeh (1983) 的 最 初 论文 ， 这 种 技术 的 新 的 
集成 可 参阅 Yager 和 Zadeh (1994) 的 《Fuzzy Sets, Neural Networks and Soft Computing》 以 及 
Timothy Ross (1995) 的 《Fuzzy Logic with Engineering Applications》。9.2.2 节 中 给 出 的 倒立 摆 问 
题 就 是 从 Ross 中 改编 来 的 。 

贝 叶 斯 信念 网 络 推理 的 算法 包括 Pearl (1988) 的 消息 传递 方法 和 Lauritzen 与 Spiegelhalter 
(1988) 的 团 树 三 角 测 量 ( 见 9.3 节 )。 对 这 些 算法 的 进一步 讨论 参见 《 Encyclopedia of AI》 
(Shapiro 1992) 和 (Huang 和 Darwiche 1996) 。AISB Quarterly 的 1996 年 春季 的 合集 包含 了 对 贝 叶 
斯 信念 网 络 的 介绍 (van der Gaag 1996) ; 另外 推荐 Wellman (1990) 和 Druzdel (1996) 的 对 量 
化 概率 网 络 的 讨论 。 
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随机 表示 和 算法 一 直 是 非常 活跃 的 研究 领域 (Xiang et al. 1993, Laskey and Mahoney 1997 ) 。 
贝 叶 斯 表示 的 局 限 已 经 引起 了 人 们 对 分 层 和 压缩 贝 叶 斯 模型 的 研究 ( Koller and Pfeffer 1997 ， 
1998; Pfeffer et al. 1999; Xiang et al. 2000) 。 对 于 我 们 介绍 的 基于 命题 的 图 形 模型 的 更 多 扩展 可 
以 在 相关 文献 中 找到 。 我 们 推荐 阅读 Koller 和 Pfeffer (1998) 及 Pless 等 (2000) 的 著作 来 了 解 
面向 对 象 的 随机 表示 思想 。Pteffer (2000) 的 IBAL 语言 、Pless 与 Luger (2002) 的 《Stochastic 
Lambda Calculus》 是 一 阶 随机 函数 语言 的 例子 。Cussens (2001) 以 及 Pless 和 Luger (2003) 提 
出 了 随机 推理 的 基于 逻辑 的 一 阶 〈 说 明 性 ) 语言 。 还 有 9.3.7 节 中 给 出 的 参考 文献 ， 这 里 并 没 
有 重复 列 出 。 

从 9.3 节 之 后 ,尤其 在 第 四 部 分 第 13 章 中 ， 我 们 又 会 看 到 很 多 关于 机 器 学 习 概 率 方法 的 表 
示 问 题 。 


9.5 习题 


1. 确定 三 个 应 用 领域 ， 在 这 些 应 用 领域 中 不 确定 条 件 下 的 推理 是 必需 的 。 选 择 其 中 的 一 个 领域 ， 设 计 反 映 
该 领域 推理 的 6 个 推理 规则 。 
2. 给 定 一 个 “ 反 向 链 ” 专 家 系统 的 下 列 规则 : 
AAnot(B) =C(0.9) 
CVD —»E(0.75) 
F—A(0.6) 
G=D(0. 8) 
系统 可 以 包含 下 列 事实 ( 带 有 确信 度 ): 
F(0.9) 
B( -0. 8) 
G(0.7) 
运用 Stanford 确信 度 代数 来 决定 下 和 它 的 确信 和 度 。 
3. 考虑 类 似 MYCIN 的 规则 : LAA(BVC) 一 D(0.9) AE(0.75)。 讨 论 一 下 用 贝 叶 斯 方法 处 理 这 些 不 确定 
性 时 出 现 的 问题 。 在 Dempster-Shafer 推理 中 ， 这 条 规则 会 怎么 处 理 呢 ? 
4. 创建 一 个 医疗 诊断 的 新 例子 ， 并 用 9. 2. 3 节 中 的 Dempster - Shafer 等 式 来 获取 如 表 9-1 和 表 9-2 的 信念 分 
布 。 

. 运用 在 McCarthy (1980， 第 4 节 ) 中 给 出 的 表示 模式 公理 来 产生 9. 1. 3 节 中 给 出 的 限定 结果 。 

. 创建 另外 一 个 类 似 于 图 9-4 的 推理 网 络 ， 并 给 出 它 的 前 提 的 相关 格 ， 如 图 9-5。 

. 用 最 小 模型 的 假设 来 推理 在 人 们 的 日 常生 活 中 非常 重要 。 给 出 假定 最 小 模型 的 两 个 以 上 的 例子 。 

. 继续 看 9. 2. 2 节 中 倒立 摆 的 例子 。 让 模糊 控制 器 进行 多 于 两 次 的 和 迭代， 其 中 每 次 迭代 的 输出 作为 下 次 选 

代 的 输入 。 

9. 写 一 个 程序 实现 9. 2. 2 节 中 的 模糊 控制 器 。 

10. 找 文献 ， 例 如 Ross 〈1995) ， 说 出 模糊 控制 适用 的 另外 两 个 领域 。 为 这 些 领域 建立 一 套 模糊 规则 。 

11. 汤姆 将 自己 的 积蓄 投资 到 5 种 股票 的 投资 组 合 ，H = {Bank of China，Citibank ，Intel，Nokia，Legendj| 。 
这 些 股票 可 以 分 为 银行 股票 (Bank of China 和 Citibank ) ， 高 科技 股票 (Intel、Nokia 和 Legend) 和 中 国 
股票 (Bank of China 和 Legend) 。 你 被 任命 建立 一 个 专家 系统 ， 用 以 给 他 管理 投资 组 合 的 建议 。 为 此 ， 
你 需要 咨询 很 多 金融 顾问 并 为 专家 系统 得 到 一 组 规则 集 ， 这 些 规则 告诉 汤姆 在 投资 组 合 中 如 何 分 配 。 
分 配 应 直接 与 股价 上 涨 的 可 能 性 或 股票 类 型 成 比例 。 
规则 1， 如 果 利 率 上 升 ， 那 么 分 别 以 0.8、0. 15 和 0. 05 比例 买 人 银行 股票 、 高 科技 股票 和 Nokia。 
规则 2: 如 果 就 业 率 上 升 ， 那 么 分 别 以 0.5、0.2 和 0. 3 比例 买 人 Bank of China、Intel 和 高 科技 股票 。 
规则 3: 如 果 通 货 膨胀 率 下 降 ， 那 么 分 别 以 0.1、0.4 和 0.5 比例 买 人 Intel 、Citibank 和 高 科技 股票 。 


oo ~ Ou 
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大 卫 在 注意 到 利率 刚刚 上 升 时 ， 使 用 Dempster - Shafer 理论 ， 计 算 了 三 类 股票 〈 即 银行 股票 、 中 国 股票 
和 高 科技 股票 ) 以 及 Nokia 的 置信 区 间 。 那 么 ， 在 Nokia 和 高 科技 股票 之 间 ， 信念 和 置信 区 间 是 否 有 什 
么 不 同 ? 原因 是 什么 ? (这 个 问题 由 香港 理工 大 学 的 James Liu Nga Kwok 提出 ， 指 导 手 册 中 的 解 由 学 生 
Qi Xianming 给 出 。) 


. 在 图 9-16 中 加 入 一 个 连接 ， 即 把 季节 同 滑 的 人 行道 直接 相连 ,然后 建立 团 树 来 表示 这 种 情形 。 同 图 9- 


17 比较 一 下 复杂 性 。 


. 完成 表 9-3 未 完成 的 符号 的 估计 。 
.请 给 出 贝 叶 斯 信念 传播 的 算法 ， 并 把 它 用 到 9.3. 2 节 中 滑 的 人 行道 问题 中 去 。 你 可 以 用 Pead (1988) 


的 消息 传递 方法 或 者 Lauritzen 与 Spiegelhalter (1988) 提出 的 团 树 三 角 测 量 的 方法 。 


， 建立 对 另外 一 个 应 用 的 贝 叶 斯 信念 网 络 ， 比 如 医疗 诊断 、 地 质 勘 测 或 者 汽车 故障 诊断 。 指 出 d - 可 分 的 


例子 ， 并 建立 这 个 网 络 的 团 树 。 


,建立 以 下 情形 ( 见 图 9-21) 的 团 树 和 连接 树 。 掠 夺 、 故 意 破坏 和 地 震 都 能 引起 房屋 的 报警 。 这 还 可 以 


度量 出 潜在 危险 可 能 发 生 在 该 房屋 的 邻居 中 。 


. 对 于 9.2.3 节 中 Dempster-Shafer 模型 描述 的 表 9-1 和 表 


9-2 的 诊断 推理 情形 ， 用 贝 叶 斯 信念 网 络 来 表示 。 比 较 (N) Neighborhood Guam 


和 对 比 这 两 种 诊断 的 途径 。 






Vandalism 


. 假设 你 想 设计 一 个 二 阶 马 尔 可 夫 模 型 ， 即 每 个 可 观察 Robbery (RY (E) Earthquake 


状态 依赖 于 前 面 的 两 个 可 观察 状态 。 你 应 该 如 何 设计 ? 
转换 概率 矩阵 应 该 是 什么 样 的 ? 

给 定 9.3.4 节 中 的 weather 的 可 观察 马尔 可 夫 模 型 : 

a) 计算 未 来 5 天 是 晴天 的 概率 。 图 9-21 一 个 信念 网 络 表示 房屋 警报 的 
b) 恰好 3 天 晴天 然后 1 天 降水 然后 又 1 天 晴天 的 概率 。 可 能 性 出 在 危险 的 邻居 中 
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逻辑 不 是 智慧 的 结束 ， 而 是 开始 …… 





Spock, 《星际 迷航 VI》 
“我 知道 你 在 想 什 么 , ”叮当 兄 说 ,“ 但 是 那 不 是 真 的 ， 嘿 ， 不 是 的 。” 
“ 正 相反 ,” 叮 当 弟 接着 说 , “如 果 那 是 真 的 ， 那 就 可 能 是 真 的 ; 如 果 那 曾经 是 真 的 ， 它 就 是 
真 的 过 ; 但 是 既然 现在 它 不 是 真 的 ， 那 么 现在 它 就 是 假 的。 这 是 逻辑 。” 
Lewis Caroll, 《 镜 中 世界 》(1871 ) 





让 我 们 教 猜想 …… 
一 一 乔治 ， 波 利 亚 


基于 符号 的 、 连 接 的 、 遗 传 的 和 随机 的 机 器 学 习 方法 


当 人 们 被 问 及 什么 智能 技能 既是 人 类 具有 的 最 本 质 的 又 是 计算 机 最 难以 实现 的 这 个 问题 时 ， 
除了 艺术 创造 力 、 伦 理 判断 能 力 和 社会 责任 感 之 外 ， 人 们 通常 会 想到 语言 和 学 习 。 这 些 年 来 ， 这 
两 个 领域 被 当 作 人 工 智能 的 目标 、 挑 战 和 人 工 智 能 进展 的 试金石 。 语 言 和 学 习 是 很 难 也 是 很 重 
要 的 研究 领域 的 一 个 原因 是 它们 包含 了 许多 其 他 的 人 类 智能 功能 。 如 果 我 们 想 说 我 们 已 经 创造 
了 人 工 智 能 ， 我 们 就 必须 要 解决 自然 语言 理解 、 自 动 推理 和 机 器 学 习 的 问题 。 在 第 四 部 分 讨论 机 
器 学 习 的 一 些 办 法 ， 在 第 五 部 分 讨论 自动 推理 和 自然 语言 理解 。 

在 第 10 章 ， 讨 论 基于 符号 的 机 器 学 习 ， 它 基于 代表 问题 域 中 实体 和 关系 的 符号 集合 。 符 号 
学 习 算 法 试图 用 这 些 符 号 来 推出 新 颖 的 、 有 效 的 和 有 用 的 也 是 用 这 些 符 号 来 表达 的 一 般 规 则 。 

第 11 章 讨论 的 连接 的 办 法 把 知识 表示 为 由 小 的 单个 的 处 理 单元 组 成 的 网 络 的 激活 或 者 抑制 
状态 模式 。 受 动物 大 脑 体 系 结构 的 启发 ， 连 接 网 络 的 学 习 是 通过 训练 数据 来 修改 网 络 结构 和 连 
接 权 值 的 办 法 实现 的 。 连 接 不 是 通过 搜索 符号 语言 表示 的 规则 而 进行 学 习 的 ， 它 在 数据 中 发 现 
不 变 的 模式 ， 并 用 网 络 自身 的 结构 进行 表示 。 

正 像 连接 网 络 受 生物 神经 系统 的 启发 一 样 ， 第 12 章 的 涌现 模型 是 受 遗 传 和 进化 的 启发 。 遗 
传 算法 开始 时 有 一 组 问题 的 候选 解 。 候 选 解 根据 它们 解决 问题 的 能 力 来 进化 : 只 有 最 适 者 生存 ， 
并 相互 组 合 来 产生 下 一 代 的 解 。 这 样 ， 解 不 断 地 增强 ， 就 像 达 尔 文 所 描述 的 现实 世界 的 进化 。 在 
探求 生命 起 源 的 过 程 中 去 寻找 智慧 的 起 源 ， 这 二 者 之 间 相 称 得 奇怪 。 

最 后 ， 在 第 13 章 中 ,我 们 给 出 了 机 器 学 习 的 随机 方法 。 随 机 学 习 的 基础 是 对 贝 叶 斯 规则 的 
理解 : 在 某 领域 的 经 验 制 约 着 理解 者 对 比 〈 或 其 他 ) 领域 新 数据 解释 时 的 期 望 。 这 里 我 们 采用 
的 主要 方法 是 给 出 和 讨论 各 种 类 型 的 马尔 可 夫 过 程 ， 并 用 这 些 模型 演示 诊断 推理 数据 和 语言 的 
机 器 理解 领域 中 的 几 个 数据 集 的 解释 。 我 们 也 给 出 了 强化 学 习 ， 即 智能 体 在 问题 求解 过 程 中 得 
到 其 他 问题 领域 的 反馈 时 ， 如 何 做 出 反应 的 学 习 方 法 。 

机 器 学 习 研 究 中 存在 着 很 多 重要 的 哲学 和 认识 论 的 问题 。 首 先 有 泛 化 的 问题 ， 或 者 说 是 机 
器 在 数据 中 发 现 的 模式 怎样 才能 有 良好 的 推广 能 力 ， 比 如 ， 模 式 是 否 适 合 新 的 数据 。 其 次 是 机 器 
学 习 中 归纳 偏 置 的 问题 。 这 个 偏 置 指 的 就 是 程序 设计 者 是 怎么 运用 直觉 和 启发 式 信息 来 设计 支 
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持 学 习 过 程 的 表示 、 模 型 和 算法 的 。 偏 置 的 例子 有 对 问题 域 中 的 “重要 ”概念 的 识别 , “特殊 搜 
索 或 者 激励 算法 ”的 使 用 ， 或 者 一 种 特定 的 神经 网 络 体系 结构 的 选择 。 问 题 是 这 些 归纳 偏 置 使 
我 们 能 够 学 习 ， 但 同时 也 限制 了 我 们 学 习 的 内 容 。 最 后 一 个 哲学 问题 称 为 “经 验 主义 者 的 困 
境 "， 让 我 们 看 一 下 以 下 两 种 情况 : 如 果 学 习 系 统 中 没有 先 验 的 偏 置 ， 怎 么 才能 学 习 到 有 用 的 知 
识 , 或 者 , 我 们 怎么 知道 已 经 学 到 了 知识 呢 ? 这 个 问题 经 常 在 无 监督 和 涌现 学 习 模式 中 出 现 。 这 
3 个 问题 将 在 16. 2 节 中 讨论 。 


第 10 章 ”基于 符号 的 机 器 学 习 


像 我 已 经 讲 过 的 那样 ， 意 识 是 由 大 量 简 单 的 感性 认识 提供 而 成 ， 感 性 认识 通过 感官 接受 进 
来 ， 如 从 外 部 事物 中 发 现 ， 或 从 对 其 自身 动作 的 反射 ， 还 要 注意 ， 有 一 些 这 样 简单 的 感官 认识 会 
经 常 结合 起 来 …… 一 不 留神 ， 我 们 会 很 容易 地 把 它们 直接 说 出 来 并 作为 一 种 单一 思想 进行 考虑 。 

一 一 约翰 . 洛克 ,《 人 类 理解 论 》 
纯粹 观察 一 件 事情 是 没有 用 处 的 。 观 察 变 为 注视 ， 注 视 变 为 思考 ， 思 考 变 为 建立 联系 这样 
可 以 说 我 们 每 个 留心 的 匆匆 一 曾 都 是 一 个 理论 化 的 行为 。 但 是 ， 这 应 该 有 意识 地 完成 ， 并 伴随 着 
自我 批评 ， 伴 随 着 自由 ， 可 以 用 大 胆 的 话 ， 可 以 讽刺 。 
一 一 歌德 


10.0 简介 


任何 宣称 具有 -一般 智能 的 系统 必须 具备 学 习 的 能 力 。 实 际 上 ， 在 我 们 的 符号 和 解释 系统 中 ， 
不 恋 的 智慧 这 个 概念 似乎 是 矛盾 的 。 智 能 主体 必须 能 够 在 与 环境 交互 的 过 程 和 处 理 自己 内 部 状 
态 和 步骤 的 过 程 中 进行 改变 。 我 们 将 用 4 章 来 讨论 机 器 学 习 的 问题 ， 从 而 反映 解决 这 一 问题 的 四 
个 途径 : 第 一 是 基于 符号 的 方法 ， 第 二 是 连接 的 方法 ， 第 三 是 遗传 或 进化 的 方法 ， 第 四 是 动态 或 
随机 的 方法 。 

学 习 对 于 人 工 智能 的 实际 应 用 是 很 重要 的 。Feigenbaum 和 McCorduck (1983) 把 妨碍 智能 系 
统 广泛 应 用 的 主要 障 得 称 为 “知识 工程 的 瓶颈 ”。 这 个 “瓶颈 ”是 指 用 7. 1 节 中 的 传统 知识 获取 
技术 来 建造 专家 系统 的 代价 和 困难 。 解 决 这 个 问题 的 一 种 办 法 是 程序 开始 时 装 有 最 少 的 知识 ， 
然后 从 实例 、 高 水 平 指导 信息 或 者 系统 自身 的 探索 中 进行 学 习 。 

Herbert Simon 对 学 习 定义 如 下 : 、 

能 够 让 系统 在 执行 同一 任务 或 相同 规模 的 另 外 一 个 任务 时 比 前 一 次 执行 得 更 好 的 任何 改变 
(Simon ，1983 ) 。 


这 个 定义 虽然 简洁 ， 却 指出 了 设计 学 习 器 要 注意 的 问题 。 学 习 包括 对 经 验 的 泛 化 : 不 仅 是 重 
复 同一 任务 ， 而 且 是 域 中 相似 的 任务 都 要 执行 得 更 好 。 因 为 感 兴趣 的 领域 可 能 很 大 ， 学 习 器 通常 
只 研究 所 有 可 能 例子 中 的 一 小 部 分 ， 从 有 限 的 经 验 中 ， 学 习 器 必须 能 够 正确 泛 化 域 中 未 见 的 数 
据 。 这 是 个 归纳 的 问题 ， 也 是 学 习 的 中 心 问题 。 对 于 大 多 数 的 学 习 问题 ， 不 管用 哪 种 算法 ， 能 用 
的 数据 都 不 足以 保证 最 优 的 泛 化 。 学 习 器 必须 启发 式 地 泛 化 ， 也 就 是 说 ， 它 们 必须 选取 经 验 中 对 
未 来 更 为 有 效 的 部 分 。 这 样 的 选择 标准 就 是 归纳 偏 置 。 

simon 的 定义 把 学 习 描 述 为 让 系统 “第 二 次 执行 得 更 好 "。 像 前 一 段 中 所 表明 的 那样 ， 选 择 
能 让 系统 改进 的 可 能 改变 是 很 难 的 。 对 学 习 的 研究 必须 解决 一 些 改 变 会 降低 系统 性 能 的 门 题 
防止 和 检测 这 些 情况 是 学 习 算法 的 另外 一 个 问题 。 

学 习 和 包括 了 学 习 器 的 改变 ， 这 是 很 明显 的 。 但 是 ， 这 些 改变 的 本 质 和 表示 它们 的 最 佳 方式 就 
远 不 是 那么 明显 的 事情 了 。 一 种 办 法 把 学 习 看 成 是 明确 表示 的 领域 知识 的 获取 。 学 习 器 基于 它 
的 经 验 用 形式 语言 (例如 逻辑 ) 来 创建 或 者 修改 表达 式 ， 并 把 知识 保留 下 来 以 供 将 来 使 用 。 二 
于 符号 的 方法 ， 以 第 10 章 中 的 算法 为 代表 ， 是 建立 在 这 样 的 假设 基础 之 上 的 : 对 程序 行为 的 最 
初 影响 是 明确 表示 的 领域 知识 的 集合 。 
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相反 , 第 11 章 (神经 网 络 或 者 连接 网 络 ) 并 不 用 符号 化 的 语言 获取 知识 的 办 法 来 学 习 。 像 
由 大 量 相 连 的 神经 细胞 组 成 的 动物 大 脑 一 样 ， 神 经 网 络 是 相连 的 人 工 神 经 元 组 成 的 系统 。 系 统 
的 知识 隐 含 在 这 些 神经 元 的 组 织 和 相互 作用 中 。 神 经 网 络 不 是 通过 向 知识 库 中 增加 表示 来 学 习 ， 
而 是 通过 修改 它 的 结构 来 学 习 ， 以 适应 学 习 领 域 中 的 突然 性 。 第 12 章 讨论 遗传 和 进化 学 习 。 我 
们 的 一 个 最 强 有 力 的 学 习 模型 可 以 在 人 类 和 动物 的 系统 中 看 到 ， 这 一 系统 在 朝 着 生态 平衡 的 方 
向 进化 。 这 种 通过 适应 来 学 习 的 方法 反映 在 遗传 算法 、 遗 传 程 序 设 计 和 人 工 生命 的 研究 中 。 

最 后 在 第 13 章 中 ， 我 们 提出 学 习 的 动态 方法 和 概率 方法 。 很 多 复杂 的 或 没有 被 完全 理解 的 
情况 ， 比 如 人 类 语言 的 产生 和 理解 ， 使 用 概率 工具 “理解 ”最 好 。 类 似 地 ， 也 可 以 用 来 诊断 动 
态 系统 ， 比 如 运行 着 的 机 械 引 擎 中 的 故障 。 

第 10 章 我 们 开始 探索 基于 符号 的 机 器 学 习 方 法 ， 这 些 算法 随 多 种 情况 变化 ， 比 如 目标 、 可 
用 的 训练 数据 、 学 习 策略 和 所 用 的 知识 表示 语言 等 。 但是， 所 有 这 些 算法 都 是 这 样 学 习 的 ， 对 可 
能 的 概念 空间 进行 搜索 来 寻找 可 接受 的 泛 化 。 在 10. 1 节 中 ， 给 出 基于 符号 机 器 学 习 的 大 体 框架 ， 
主要 说 明 这 种 学 习 方 法 隐 含 的 通用 假设 。 

虽然 10. 1 节 给 出 了 很 多 学 习 任 务 的 大 体 框 架 , 但 这 一 章 主要 讨论 的 是 归纳 学 习 。 归 纳 是 最 
基础 的 学 习 任务 之 一 ， 是 从 实例 集合 中 学 习 一 般 通 用 的 知识 。 概 念 学 习 是 一 种 典型 的 归纳 学 习 
问题 : 给 定 某 个 概念 的 实例 ， 比 如 “ 犹 *、“ 大 豆 的 病虫害 ”或 “好 的 股票 投资 "， 我 们 想 要 推 
出 一 个 定义 ， 能 让 学 习 器 正确 地 识别 这 些 概 念 的 未 来 的 实例 。10. 2 节 和 10. 3 节 讨 论 用 于 概念 归 
纳 的 两 种 算法 ， 变 形 空间 搜索 算法 和 ID3 算法 。 

10. 4 节 讨 论 学 习 中 归纳 偏 置 的 角色 。 学 习 中 涉及 的 搜索 空间 会 变 得 极 大 ， 即 使 是 用 基于 搜 
索 的 问题 求解 的 标准 。 这 些 问题 的 复杂 性 会 因为 在 不 同 训练 数据 支持 的 泛 化 规则 之 中 进行 的 选 
择 而 加 剧 。 归 纳 偏 置 是 指 学 习 器 中 用 来 约束 泛 化 空间 的 任何 方法 。 

10.2 节 和 10. 3 节 中 的 算法 是 数据 驱动 的 。 它 们 没有 用 领域 中 的 先 验 知识 ， 而 是 依赖 于 大 量 
的 例子 来 定义 一 个 一 般 概念 的 必要 属性 。 基 于 训练 数据 的 模式 来 泛 化 的 算法 称 为 基于 相似 性 的 
学 习 算法 。 

与 基于 相似 性 的 学 习 相 反 ， 学 习 器 可 以 运用 领域 中 的 先 验 知 识 来 指导 泛 化 。 例 如 ， 人 就 不 需 
要 大 量 例子 来 有 效 地 学 习 。 通 常 ， 一 个 例子 、 类 比 或 者 高 水 平 的 指导 就 足以 获取 一 般 的 概念 。 有 
效 地 运用 这 些 知识 可 以 帮助 主体 更 加 有 效 地 学 习 ， 减少 错误 的 可 能 性 。10.5 节 讨 论 基 于 解释 的 
学 习 ， 它 是 通过 类 比 和 其 他 运用 先 验 知识 从 有 限 的 训练 数据 中 学 习 的 技术 来 进行 学 习 的 。 

10. 2 节 到 10.5 节 中 给 出 的 算法 虽然 在 搜索 策略 、 表 示 语 言 和 用 到 的 先 验 知识 的 数量 上 各 不 
相同 ， 但 它们 都 假定 训练 数据 已 经 由 教师 或 其 他 方式 进行 了 分 类 。 学 习 器 要 被 告知 一 个 目标 概 
念 的 实例 是 正 例 还 是 反例 。 这 种 依赖 于 已 经 分 类 好 的 数据 的 学 习 称 为 监督 学 习 。 

10. 6 节 继 续 讨 论 称 为 无 监督 学 习 的 归纳 学 习 ， 它 解决 了 智能 主体 对 没有 正确 分 类 的 训练 数 
据 获取 有 用 知识 的 问题 。 分 类 形成 (或 概念 聚 类 ) 是 无 监督 学 习 的 基础 问题 。 给 定 具 有 不 同属 
性 的 对 象 集 ， 主 体 怎么 才能 对 对 象 进行 有 效 的 分 类 呢 ?” 我 们 又 怎么 知道 这 个 分 类 是 否 有 效 呢 ? 在 
这 一 节 中 ， 讨 论 一 下 这 两 种 分 类 形成 算法 : CLUSTER/2 和 COBWEB。 

最 后 ， 在 10.7 节 中 ， 给 出 强化 学 习 。 这 里 ， 主 体 处 在 环境 之 中 ， 并 从 环境 中 得 到 反馈 。 这 
里 的 学 习 需 要 主体 产生 动作 ， 然 后 对 从 这 些 动作 得 来 的 反馈 进行 解释 。 强 化 学 习 与 监督 学 习 不 
同 的 地 方 在 于 它 没有 “教师 ”对 每 个 动作 直接 响应 ， 而 是 主体 自身 必须 创建 一 种 策略 来 解释 所 
有 的 反馈 。 强 化 学 习 很 好 地 符合 了 构造 论 者 的 认识 论 ， 可 以 参见 16. 2 节 。 

本 章 所 讨论 的 学 习 有 一 个 共同 点 : 它们 都 可 以 看 成 是 一 种 状态 空间 的 搜索 。 即 使 是 强化 学 
习 也 是 从 状态 空间 中 获得 估价 函数 。 我 们 接 下 来 给 出 机 器 学 习 中 基于 搜索 的 大 体 框架 。 
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10. 1 ”基于 符号 学 习 的 框架 


基于 符号 的 学 习 算 法 可 以 从 几 个 维度 进行 表征 ， 如 图 10-1 所 示 。 

1) 学 习 任务 的 数据 和 目标 。 我 们 表征 学 习 算 法 的 一 个 主要 方式 就 是 看 学 习 器 的 目标 和 给 定 
的 数据 。 例 如 ，10. 2 节 和 10. 3 节 中 的 概念 学 习 算法 ， 初 始 状态 是 目标 类 的 一 组 正 例 (通常 也 有 
反例 ) ， 学 习 的 目标 是 得 出 一 个 通用 的 定义 ， 它 能 够 让 学 习 器 辨识 该 类 的 未 来 的 实例 。 与 这 些 算 
法 采用 大 量 数据 的 方法 相反 ， 基 于 解释 的 学 习 〈( 见 10.5 节 ) 试图 从 单一 的 训练 实例 和 预先 给 定 
的 特定 领域 的 知识 库 中 推出 一 个 泛 化 的 概念 。10. 6 节 中 讨论 的 概念 事 类 算法 阐释 了 归纳 问题 的 
奶 外 一 种 情况 : 这 些 算法 的 初始 状态 是 未 分 类 的 实例 集合 ， 而 不 是 从 已 经 分 好 类 的 实例 集合 进 
行 学 习 。 它 们 的 学 习 任 务 是 发 现 对 于 学 习 器 有 用 的 分 类 信息 。 


表示 语言 概念 空间 





图 10-1 学 习 过 程 的 总 体 模型 


实例 并 不 是 训练 数据 的 惟一 来 源 。 例 如 ， 人 们 经 常 从 高 水 平 的 指导 中 学 习 。 教 授 在 教程 序 设 
计时 ， 通 常会 告诉 学 生 所 有 的 循环 必须 达到 终止 条 件 。 这 个 指导 虽然 正确 ， 却 不 是 直接 有 用 的 : 
它 必须 转化 为 在 程序 设计 语言 中 操作 循环 变量 或 逻辑 条 件 的 特定 规则 。 类 比 ( 见 10. 5.4 节 ) 是 
另外 一 种 训练 数据 ， 在 使 用 它们 之 前 必须 对 其 加 以 正确 的 解释 。 如 果 教 师 告诉 学 生 电流 像 水 ， 学 
生 必 须 得 出 类 比 的 正确 内 容 : 像 水 在 管道 中 流动 一 样 ， 电 流 在 电线 中 流动 。 像 水 流 一 样 ， 我 们 可 
以 测量 电流 的 数量 (安培 ) 和 使 电流 流动 的 压力 (伏特 )。 但 是 ， 与 水 不 同 的 是 ， 电 流 不 会 把 东 
西 弄 湿 或 者 帮助 我 们 洗手 。 类 比 的 解释 包括 发 现 有 意义 的 相似 之 处 ， 并 避免 错误 的 或 者 无 意义 
的 推理 。 

我 们 还 可 以 通过 学 习 器 的 目标 或 者 和 (target) 来 表征 一 个 学 习 算法 。 许 多 学 习 算 法 的 目标 
是 一 个 概念 ， 或 者 物体 的 类 的 通用 描述 。 学 习 算法 还 可 以 获取 计划 ， 问 题 求解 的 启发 式 信息 ， 或 
者 其 他 形式 的 过 程 性 知识 。 

训练 数据 本 身 的 属性 和 质量 是 我 们 划分 学 习 任务 的 另外 一 个 尺度 。 数 据 可 能 来 自 外 界 环 境 
中 的 教师 ， 也 可 能 是 程序 自身 产生 的 。 数 据 也 许 是 可 信赖 的 ， 也 可 能 包含 噪声 。 这 些 数据 可 能 是 
以 较 好 结构 的 形式 给 出 来 的 ， 也 可 能 是 未 经 组 织 的 。 它 可 能 既 包 括 正 例 也 包括 反例 ， 或 只 包括 正 
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例 。 数 据 可 能 已 经 可 用 ， 也 可 能 程序 不 得 不 建立 试验 ， 或 者 进行 其 他 形式 的 知识 获取 。 

2) 所 学 知识 的 表示 。 机 器 学 习 程序 已 经 利用 了 本 书 讨论 的 所 有 知识 表示 语言 。 例 如 ， 对 物 
体 分 类 的 学 习 程序 可 能 把 这 些 概 念 表示 为 谓词 演算 的 表达 式 , 或 者 它们 可 能 用 结构 化 的 表示 ， 
如 框架 或 对 象 。 计 划 可 以 用 操作 的 序列 来 描述 ， 或 者 用 三 角 表 来 描述 。 启 发 式 信 息 可 以 用 问题 求 
解 规则 来 表示 。 

概念 学 习 问 题 的 一 个 简单 表述 把 概念 的 实例 表示 为 包含 变量 的 合 取 语句 。 例 如 ， 两 个 “ 球 ” 
的 实例 (但 是 不 足以 学 习 概 念 ) 可 以 表示 如 下 : 

size(obj1, small) ^ color(obj1, red) 和 shape(obj1, round) 

size(obj2, large) ^ color(obj2, red) 和 shape(obj2, round) 
“ 球 ” 的 泛 化 概念 可 以 定义 为 : 

size(X, Y) 和 color(X, Z) 和 shape(X, round) 


符合 这 个 通用 定义 的 任何 语句 都 表示 一 个 球 。 

3) 操作 的 集合 。 给 定 训练 实例 集 ， 学 习 器 必须 建立 满足 目标 的 泛 化 、 启 发 式 规则 或 者 计划 。 
这 就 需要 对 表示 进行 操作 的 能 力 。 典 型 的 操作 包括 泛 化 或 者 特 化 符号 表达 式 、 调 整 神经 网 络 的 
权 值 ， 或 者 其 他 方式 的 对 程序 表示 的 修改 。 

在 刚才 的 概念 学 习 的 例子 中 ,学 习 器 可 以 通过 用 变量 替换 常量 的 方法 来 泛 化 出 定义 。 如 果 
初始 概念 为 : 


size(obj1, small) ^ color(obj1, red) 和 shape(obj1, round) 


用 变量 来 蔡 换 单个 常量 ， 产 生出 下 面 的 泛 化 : 


size(obj1, X) ^ color(obj1, red) ^ shape(obj1, round) 

size(obj1, small) ^ color(obj1, X) ^ shape(obj1, round) 

size(obj1, small) ^ color(obj1, red) 和 shape(obj1, X) 

size(X, small) ^ color(X, red) ^ shape(X， round) 

4) 概念 空间 。 上 面 讨论 的 表示 语言 和 操作 定义 了 潜在 概念 定义 的 空间 。 学 习 器 必须 搜索 这 
个 空间 来 寻找 所 期 望 的 概念 。 概 念 空间 的 复杂 度 是 学 习 问 题 难度 的 主要 度量 。 

5) 启发 式 搜索 。 学 习 器 必须 给 出 搜索 的 方向 和 顺序 ， 并 且 要 利用 可 用 的 训练 数据 和 启发 式 
信息 来 有 效 地 搜索 。 在 我 们 学 习 “ 球 ”的 概念 的 例子 中 ， 算 法 可 以 把 第 一 个 实例 当 作 候选 概念 ， 
对 它 进 行 泛 化 ， 使 之 能 够 包含 接 下 来 的 实例 。 例 如 ， 给 定单 一 的 训练 实例 : 


size(obj1, small) ^ color(obj1, red) 和 shape(obj1, round) 
学 习 器 就 会 把 这 个 实例 当 作 候 选 概念 ， 这 个 概念 能 对 当前 仅 有 的 一 个 正 例 进行 正确 的 分 类 。 

如 果 现 在 给 定 算法 的 第 二 个 正 例 ; 

size(obj2, large) ^ color(obj2， red) ^ shape(obj2, round) 
学 习 器 会 通过 用 变量 替换 常量 来 泛 化 候选 概念 ， 以 使 概念 能 够 匹配 这 两 个 实例 。 这 个 结果 比 候 
选 概念 更 加 泛 化 ， 更 接近 于 我 们 的 目标 概念 “ 球 ” 。 

size(X, Y) 和 color(X, red) 人 shape(X, round) 

Patrick Winston 关于 从 正 反例 中 学 习 概 念 的 论文 (1975a) 解释 了 框架 的 这 几 个 组 成 部 分 。 


他 的 程序 学 习 结构 化 概念 的 一 般 定义 ， 如 积木 世界 中 的 “拱门 "。 训 练 数据 是 一 系列 概念 的 正 例 
和 反例 : 属于 该 类 别 的 积木 实例 ， 以 及 小 差别 (near miss) 的 实例 。 后 者 大 体 上 属于 该 类 别 ， 只 
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有 一 个 属性 或 者 关系 不 同 。 小 差别 能 够 让 程序 找 出 那个 特征 ， 用 以 从 目标 概念 中 排除 反例 ， 图 
10-2 给 出 了 概念 “拱门 ”的 正 例 和 有 小 差别 的 实例 。 


拱门 拱门 


[| 


小 差别 的 小 差别 的 
图 10-2 概念 “拱门 ”的 实例 和 小 差别 的 实例 


这 个 程序 用 语义 网 来 表示 概念 ， 如 图 10-3 所 示 。 它 是 通过 给 定 训练 实例 时 提取 目标 概念 的 
候选 描述 方式 来 学 习 的 。Winston 的 程序 通过 泛 化 和 特 化 来 提取 候选 描述 。 泛 化 修改 图 让 它 来 适 
应 新 实例 。 图 10-3a 给 出 了 由 三 块 砖 构成 的 拱门 和 描述 它 的 语义 网 图 。 下 一 个 训练 实例 顶端 是 一 
个 楼 锥 而 不 是 砖 ， 如 图 10-3b 所 示 。 这 个 实例 与 候选 描述 并 不 匹配 。 程 序 对 这 两 个 图 进行 匹配 ， 
试图 找到 它们 相同 的 部 分 。 图 匹配 程序 用 结 点 名 称 来 指导 匹配 过 程 。 一 旦 程序 对 图 进行 匹配 ， 
就 可 能 发 现 图 之 间 的 差异 。 在 图 10-3 中 ,除了 第 一 张 图 项 端 是 砖 (brick)， 而 第 二 张 图 顶端 
是 棱锥 (phramid) 外 ,两 张 图 其 余部 分 都 匹配 。 程序 的 部 分 背景 知识 是 这 些 概念 的 通用 层 
次 ， 如 图 10-3e 所 示 。 程 序 对 图 进行 泛 化 ， 用 砖 和 棱锥 的 最 小 公共 超 类 来 蔡 换 相应 结 点 ， 在 这 
个 例子 中 ， 这 个 超 类 是 多 边 形 (polygon) 。 结 果 是 如 图 10-3d 所 示 的 概念 。 





b) 另外 一 个 拱门 的 例子 和 它 的 网 络 描述 
图 10-3 ”对 包含 多 个 实例 的 描述 的 泛 化 















Cpan OD—e brok | 
pan ) 


polygon 


RE] 
c) 给 定 砖 和 楼 锥 都 是 多 边 形 的 背景 知识 d) 包含 着 这 两 个 例子 的 泛 化 

图 10-3 ( 续 ) 
当 给 出 有 小 差别 的 实例 时 ， 即 与 目标 概念 只 有 一 个 属性 不 同 的 实例 ， 程 序 特 化 候选 描述 来 
排除 这 个 实例 。 图 10-4a 是 一 个 候选 描述 。 它 与 图 10-4b 中 实例 的 小 差别 在 于 touch 关系 。 程 序 
通过 增加 must-not-touch 连接 来 排除 这 个 小 差别 ， 从 而 特 化 图 ， 如 图 10-4c 所 示 。 需 要 指出 的 是 这 


个 算法 极其 依赖 于 反例 与 目标 概念 的 相近 程度 。 由 于 与 目标 仅 有 一 处 不 同 ， 小 差别 可 以 帮助 算 


must-not-touch must-not-touch 





c) 转化 来 排除 小 差别 的 拱门 的 描述 
图 10-4 ”排除 小 差别 的 描述 的 特 化 
注 ; 在 图 10-4c 中 为 10-4a 加 了 约束 以 使 其 不 与 10-4b 匹配 

这 些 操作 一 一 增加 连接 来 特 化 网 络 和 用 更 泛 化 的 概念 来 替换 结 点 或 连接 名 一 一 定义 了 一 个 
可 能 的 概念 定义 的 空间 。Winston 的 程序 在 训练 数据 的 驱动 下 ， 采 用 把 山 法 对 概念 空间 进行 搜索 。 
因为 程序 并 不 回 戎 ， 它 的 性 能 对 于 训练 数据 的 顺序 就 会 非常 敏感 ， 差 的 顺序 会 导致 程序 在 搜索 
空间 中 走 人 死胡同 。 就 像 教 师 组织 课 程 来 帮助 学 生 学 习 一 样 ， 提 供给 程序 的 训练 数据 必须 要 以 
能 辅助 学 习 期 望 概念 的 顺序 给 出 来 。 训 练 数据 的 质量 和 顺序 对 于 程序 的 图 匹配 算法 也 很 重要 ， 
有 效 的 匹配 要 求 图 不 能 差异 太 大 。 
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虽然 是 归纳 学 习 的 一 个 较 早 的 例子 ，Winston 的 程序 却 阅 明了 本 章 介 绍 的 大 多 数 机 器 学 习 技 
术 所 共有 的 特征 和 问题 : 用 泛 化 和 特 化 操作 来 定义 一 个 概念 空间 ; 用 数据 来 指导 对 空间 的 搜索 ; 
学 习 算 法 对 训练 数据 质量 的 敏感 性 。 接 下 来 的 几 节 将 讨论 一 下 这 些 问题 和 机 器 学 习 对 它们 的 求 
解 技术 。 
10.2 变形 空间 搜索 

变形 空间 搜索 (version space search) (Mitchell 1978 ，1979 ，1982) 把 归纳 学 习 解 释 为 对 概 
念 空 间 的 搜索 。 变 形 空 间 搜索 利用 了 这 样 一 个 事实 : 泛 化 操作 对 空间 中 的 概念 进行 排序 ， 然后 用 
这 个 顺序 来 指导 搜索 。 


10.2.1 泛 化 操作 符 和 概念 空间 


泛 化 和 特 化 是 定义 一 个 概念 空间 的 最 常用 的 两 种 操作 。 机 器 学 习 中 用 到 的 最 主要 的 泛 化 操 
作 有 : 
1) 用 变量 蔡 换 常量 。 例 如 : 


color( ball, red) 
泛 化 为 : 
color( X, red) 
2) 从 合 取 表达 式 中 去 掉 一 些 条 件 。 
shape( X, round) A size( X, small) A color( X, red) 
泛 化 为 : 
shape( X, round) A color( X, red) 
3) 对 表达 式 增加 一 个 析 取 式 。 
shape( X, round) A size( X, small) A color( X, red) 
泛 化 为 : 
shape(X, round) Asize(X, small) A (color( X, red) V color( X, blue) ) 
4) 用 属性 的 超 类 来 替换 属性 。 如 果 我 们 知道 primary_color 是 red 的 超 类 ， 则 : 


color( X, red) 


泛 化 为 : 
color( X, primary_color) 


可 以 用 集合 论 的 术语 来 考虑 泛 化 : 令 P 和 Q 分 别 为 匹配 谓词 演算 表达 式 p 和 q 的 语句 集合 。 
表达 式 p 比 q 更 泛 化 当 且 仅 当 P22Q。 在 最 上 面 的 例子 中 ， 匹 配 color( X, red) 的 语句 集 包含 匹配 
color( ball, red) 的 语句 集 。 类 似 地 ， 在 第 二 个 例子 中 ， 我 们 可 以 认为 红 的 圆 的 对 象 集合 是 小 的 红 
的 圆 的 对 象 集合 的 超 集 。“ 更 泛 化 ”关系 定义 了 逻辑 语句 空间 上 的 一 个 偏 序 关 系 。 我 们 用 符号 
“之 ”来 表示 这 种 关系 ，p 之 9q 表示 p 比 9q 更 活化 。 这 种 顺序 是 学 习 算 法 搜索 时 约束 的 重要 案 源 。 

我 们 通过 履 盖 这 个 概念 来 形式 化 这 种 关系 。 如 果 概 念 p 比 q 更 泛 化 ,我 们 说 p 覆盖 q。 我 们 
这 样 定义 覆盖 关系 : 令 p(x) 和 q(x) 为 分 类 对 象 概 念 的 正 例 描述 。 换 句 话说 ， 对 于 物体 x， 有 
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P(X) 一 positive(x) 和 q(x) 一 positive( x) 。p 覆盖 9 当 且 仅 当 q(x) 一 positive(x) 是 p(x) positive 
(x) 的 逻辑 结果 。 

例如 ，color(X, Y) 履 盖 color(ball, Zz) ， 于 是 又 覆盖 color( ball, red) 。 作 为 一 个 简单 的 例子 ， 
考虑 有 这 样 一 些 属性 和 值 的 对 象 域 : 

Sizes = {large, small} 

Colors = {red, white, blue} 

Shapes = {ball, brick, cube} 


这 些 对 象 可 以 用 谓词 obj( Sizes, Color, Shapes) 来 表示 。 变 量 替 换 常量 这 个 泛 化 操作 定义 了 
如 图 10-5 所 示 的 空间 。 我 们 可 以 把 归纳 学 习 看 成 是 对 与 所 有 训练 实例 一 致 的 概念 空间 的 搜索 。 


obj(X, Y, 2) 
obj(X, Y, ball) obj(X, red, Y) obj(small, X, Y) 。。。 
obj(X, red ball) objlsmalh X, ball) obj(small, red, X) 。。 
obj(small, red, ball) Obj(large, red, ball) obj(small, white, ball) 。 。 


图 10-5 一 个 概念 空间 


10. 2. 2 候选 解 排除 算法 


本 节 讨 论 三 种 搜索 概念 空间 的 算法 ( Mitchell 1982)。 这 些 算法 依赖 于 变形 空间 这 个 概念 ， 
它 是 指 与 训练 实例 一 致 的 所 有 概念 描述 的 集合 。 这 些 算法 在 有 更 多 实例 可 用 时 缩减 变形 空间 的 
大 小 。 前 两 个 算法 缩减 变形 空间 的 方向 分 别 是 ， 由 特殊 到 一 般 和 由 一 般 到 特殊 。 第 三 种 算法 ， 称 
为 候选 解 排 除 ， 它 把 这 两 种 办 法 结合 起 来 成 为 双向 搜索 。 接 下 来 将 描述 并 评估 这 些 算法 。 

这 些 算法 是 数据 驱动 的 ， 它 们 基于 训练 数据 中 发 现 的 规则 来 泛 化 。 这 些 算法 用 的 是 已 经 分 
类 好 的 数据 ， 所 以 也 是 监督 学 习 (supervised leaming) 。 

像 Winston 的 学 习 结 构 型 描述 的 程序 那样 ， 变 形 空间 的 搜索 使 用 目标 概念 的 正 例 和 反例 。 虽 
然 也 可 以 只 用 正 例 来 泛 化 ， 但 反例 对 于 防止 算法 超 泛 化 有 重要 的 作用 。 理 想 情况 下 ， 学 习 到 的 概 
念 不 仅 要 足以 覆盖 所 有 的 正 例 ， 还 要 能 排除 所 有 的 反例 。 在 如 图 10-5 所 示 的 空间 中 ， 一 个 能 够 
覆盖 所 有 正 例 集合 的 概念 是 obj(X, Y, Z) 。 但 是 ， 这 个 概念 可 能 太 泛 化 了 ， 因 为 它 概括 了 属于 目 
标 概 念 的 所 有 实例 。 避 免 超 泛 化 的 一 种 方法 是 尽 可 能 小 地 泛 化 使 它 只 覆盖 正 例 ， 另 外 一 种 方法 
是 用 反例 来 排除 超 泛 化 了 的 概念 。 如 图 10-6 所 示 ， 反 例 是 通过 让 学 习 器 特 化 概念 的 方法 来 防止 
超 泛 化 的 。 本 节 中 的 算法 都 用 到 了 这 两 种 技术 。 对 假设 集 S， 我 们 如 下 定义 特殊 到 一 般 的 搜索 : 


开始 
初始 化 S 为 第 一 个 正 例 ; 
N 为 目前 所 见 的 所 有 反例 集合 ; 
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对 每 个 正 例 p 
开始 
对 每 个 se S, 如 果 S 不 匹配 p, 用 匹配 p 的 最 特殊 的 泛 化 来 替换 8; 
排除 S 中 比 S 中 其 他 假设 更 一 般 的 假设 ; 
排除 匹配 N 中 已 有 反例 的 S 中 的 假设 
结束 ; 

对 每 个 反例 hn 
开始 
排除 匹配 mn 的 S 的 所 有 成 员 ; 
添加 Nn 到 NN 中 ,以 检查 后 来 的 假设 防止 超 泛 化 ; 
结束 ; 

结束 


仅 从 正 例 归 从 正 例 和 反例 
纳 出 的 概念 归纳 出 的 概念 


图 10-6 反例 在 防止 超 泛 化 中 的 作用 


特殊 到 一 般 算 法 维护 一 假设 集 S， 或 者 说 是 候选 概念 定义 集 。 为 了 避免 超 泛 化 ， 这 些 候 选 定 
义 是 训练 数据 的 最 特殊 的 泛 化 (maximally specific generalization ) 。 一 个 概念 c 是 最 特殊 的 ， 如 果 
它 覆 盖 所 有 的 正 例 ， 而 不 覆盖 反例 ， 并 且 对 任意 其 他 覆盖 正 例 的 概念 c"， 有 c 和 c'。 图 10-7 给 出 
了 在 图 10-5 所 示 的 变形 空间 中 运用 这 种 算法 的 例子 。 由 特殊 到 一 般 的 变形 空间 搜索 算法 已 经 在 
补充 材料 中 用 Prolog 实现 。 


s:0 Positive: obj(small, red, ball) 
S: {obj(small, red, bai)} Positive: obj(smail, white, ball) 


S: {obj(small, X, bal} Positive: obj (large, blue, bail) 


S: {obj(Y, X, bail)} 
图 10-7 学 习 概 念 “ 球 ”的 概念 空间 由 特殊 到 一 般 的 搜索 


278 渭 四 部 分 机 如 学 了 





我 们 还 可 以 沿 一 般 到 特殊 的 方向 搜索 。 这 种 算法 维护 一 个 最 一 般 概念 ( maximally general 
concept) 的 集合 ， 最 一 般 概念 覆盖 所 有 正 例 ， 而 不 覆盖 反例 。 一 个 概念 c 是 最 一 般 的 ， 如 果 它 不 
覆盖 反例 ， 并 且 对 任意 其 他 不 覆盖 反例 的 概念 c'， 有 c 宕 c'。 在 这 个 算法 中 ,反例 导致 了 对 候选 
概念 的 特 化 ， 算 法 用 正 例 来 排除 过 于 特殊 化 的 概念 。 


开始 
初始 化 G 使 其 包含 空间 中 最 一 般 的 概念 ; 
P 包含 当前 见 到 的 所 有 正 例 ; 
对 每 个 反例 n 
开始 
对 每 一 个 匹配 n 的 geG, 用 不 匹配 0n 的 最 一 般 特 化 来 替换 g; 
排除 G 中 比 G 中 其 他 假设 更 特殊 的 所 有 假设 ; 
排除 G 中 不 能 匹配 P 中 菜 些 正 例 的 所 有 假设 ; 
结束 ; 
对 每 个 正 例 P 
开始 
排除 G 中 不 能 匹配 p 的 所 有 假设 ; 
把 p 添 加 到 P 中 ; 
结束 ; 
结束 
图 10-8 给 出 了 在 图 10-5 所 示 的 变形 空间 中 运用 这 种 算法 的 例子 。 在 这 个 例子 中 ， 算 法 运用 
背景 知识 : size 有 值 {large, small ，color 有 值 { red, white, blue} ，shape 有 值 {ball, brick, cube} 。 
如 果 算 法 要 用 常量 替换 变量 的 方法 来 特 化 概念 ， 这 个 知识 就 是 很 必要 的 。 


G: {obj(X,Y,2)} Negative: obj(small, red, brick) 


G: {obij(large, Y, Z), obj(X, white, 2); - 
obi(X, blue, 2 obi(X, Y, ball), obj(X, Y, cube)} Posltive: obi(iarge, white, ball) 


G: {obj(large, Y, Z)， 
obj(X, white, 2Z), obj(X, Y, ball)} | Negative: obj(large, blue, cube) 


G: {obj(large, white, 2), 
obij(X, white 2), obi(X, ¥, ball)} positive: obj(smail, blue, ball) 


G: {obj(X, Y, ball)} 


图 10-8 学 习 概念 “ 球 ” 的 概念 空间 由 一 般 到 特殊 的 搜索 
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候选 解 排除 算法 综合 上 面 的 两 种 办 法 成 为 双向 的 搜索 。 双 向 的 方法 对 于 学 习 器 来 说 有 很 多 
优点 。 算 法 维护 两 个 候选 概念 集合 : G 是 最 一 般 的 候选 概念 集合 ，S 是 最 特殊 的 候选 概念 集合 。 
算法 特 化 G 并 沙化 S 直到 它们 收敛 在 目标 概念 上 。 算 法 定义 如 下 : 


开始 
初始 化 G 为 空间 中 最 一 般 的 概念 ; 
初始 化 S 为 第 一 个 训练 正 例 ; 
对 每 个 新 正 例 
开始 
排除 G 中 不 能 匹配 p 的 所 有 成 员 ; 
对 每 个 seS, 如 果 SS 不 匹配 p, 用 匹配 p 的 最 特殊 的 泛 化 来 替换 Si 
排除 S 中 比 S 中 其 他 假设 更 一 般 的 假设 ; 
排除 S 中 比 G 中 茶 些 假设 更 一 般 的 假设 ; 
结束 ; 
对 每 个 新 反例 nN 
开始 
排除 匹配 mn 的 S 的 所 有 成 员 ; 
对 每 一 个 匹配 nn 的 geG, 用 不 匹配 hn 的 最 一 般 的 特 化 来 替换 g; 
排除 G 中 比 G 中 其 他 假设 更 特殊 的 所 有 假设 
排除 G 中 比 S 中 某 些 假设 更 特殊 的 所 有 假设 ; 
结束 ; 
和 如果 G=S 并且 两 个 集合 都 只 有 一 个 概念 , 则 算法 就 找到 了 与 所 有 数据 相 一 致 的 概念 , 算 
法 就 终止 ; 
如 果 G 和 S 为 空 集 , 则 不 存在 这 样 的 概念 : 它 履 盖 所 有 的 正 例 ,而 不 履 盖 一 个 反例 。 
结束 


图 10-9 解释 了 候选 解 排除 算法 在 搜索 如 图 10-5 所 示 的 变形 空间 时 的 行为 。 需 要 指出 的 
是 图 中 没有 给 出 通过 泛 化 或 特 化 而 产生 的 概念 ， 而 是 给 出 了 由 于 过 于 一 般 或 特殊 而 被 排除 
的 概念 。 算 法 这 一 部 分 的 详细 细节 留 作 练 习 ， 在 补充 材料 中 给 出 了 用 Prolog 实现 的 一 部 分 
算法 。 

把 两 种 方向 的 搜索 结合 在 一 个 算法 中 有 几 个 优点 。G 和 S 分 别 概括 了 正 例 和 反例 的 信 
息 ， 于 是 没有 必要 再 存储 这 些 实例 了 。 例 如 ， 为 了 覆盖 一 个 正 例 对 S 进行 泛 化 之 后 ， 算 法 
用 G 排除 S 中 不 覆盖 任意 反例 的 概念 。 因 为 G 是 不 匹配 任意 反例 的 最 一 般 概念 的 集合 ，S 
中 任何 比 G 中 任意 成 员 更 一 般 的 成 员 都 肯定 匹配 某 些 反 例 。 类 似 地 ， 因 为 S 是 覆盖 所 有 正 
例 的 最 特殊 的 泛 化 集 ，G 中 比 S 的 成 员 更 特殊 的 任何 新 成 员 肯 定 不 能 覆盖 某 些 正 例 ， 也 可 
能 被 排除 。 

图 10-10 给 出 了 候选 解 排除 算法 的 一 个 抽象 描述 。 符 号 “ + ”代表 正 例 ; “ - ”号 代表 反 
例 。 最 里 面 的 圆圈 内 是 已 知 的 正 例 ， 它 们 被 S 中 的 概念 覆盖 。 最 外 面 的 圆圈 围 住 的 是 G 中 的 概 
念 所 覆盖 的 实例 ， 这 个 圆圈 之 外 的 任何 实例 都 是 反例 。 图 中 阴影 部 分 包含 目标 概念 ， 还 有 过 于 一 
般 或 特殊 的 概念 〈 用 ? 表示 ) 。 搜 索 尽 可 能 地 缩小 外 面 的 概念 来 排除 反例 ， 并 扩展 最 里 面 的 概念 
来 包含 新 的 正 例 。 最 后 ， 这 两 个 集合 收敛 于 目标 概念 。 以 这 种 方式 ， 候 选 解 排除 算法 能 够 知道 何 
时 它 已 经 找到 了 单一 、 一 致 的 目标 概念 。 当 G 和 S 收敛 于 同一 个 概念 时 ， 算 法 就 终止 。 如 果 G 
和 S 为 空 集 ， 则 不 存在 这 样 的 概念 : 它 覆 盖 所 有 的 正 例 ， 而 不 覆盖 一 个 反例 。 如 果 训 练 数据 是 
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G: {obj(X, Y, Z)} 
S$:1{ 


Positive: obj(small, red, ball) 


一 一 一 一 一 


G: {obj(X, Y, Z) 
S: {obj(small, red, ball)} 


G: {obj(X, red, 2)} 
S: {obj(small, red, ball)} 


G: {obj{X, red, 2)} 
S: {obj(X, red, ball)} 


G: {obj(X, red, ball)} 
S: {obj(X, red, ball)} 


图 10-9 学 习 概念 “ 红 球 ”的 候选 解 排 除 算法 


Negative: obj(small, blue, ball) 


Positive: obj(large, red, ball) 


Negative: obj(large, red, cube) 


不 一 致 的 或 者 目标 概念 可 能 不 能 用 表示 语言 来 表达 出 来 的 时 候 ， 这 种 情况 就 可 能 出 现 ( 见 


10.2.4 节 )。 
候选 解 排 除 算法 的 一 个 令 人 感 兴趣 的 方 : 


面 是 它 的 增 量 式 的 特点 。 增 量 式 学 习 ( 即 强 一 6 的 边 下 


化 学 习 ) 算法 每 次 接收 一 个 训练 数据 ， 对 每 - : 
个 实例 形成 一 次 可 用 但 可 能 不 完全 的 泛 化 。 人 
这 与 批量 学 习 算法 (参见 10.3 节 中 ID3 的 例 -| 区 

子 ) 相反 ， 批 量 学 习 算法 在 开始 学 习 之 前 需 | 
要 给 出 所 有 的 训练 实例 。 即 使 在 候选 解 排除 - ;和 + + 
算法 收敛 于 单一 概念 之 前 ， 集 合 G 和 S 也 对 0 
那个 概念 提供 了 有 用 的 限制 : 如 果 c 是 目标 4 

概念 ， 则 对 所 有 的 geG 和 seS, 有 ss<c< ME 


? 启 
器 一 一 一 潜在 目标 概念 
gi 


7 S$ 的 边界 


9。 任 何 比 G 中 某 些 概念 更 一 般 的 概念 会 覆 ”图 10-10 候选 解 排除 算法 中 G 和 S 集合 的 收敛 边界 


盖 反 例 ; 任何 比 S 中 某 些 概 念 更 特殊 的 概念 


不 能 覆盖 某 些 正 例 。 这 暗示 : 较 好 地 符合 G 和 S 限定 的 概念 的 实例 至 少 是 这 个 概念 的 似 真 实例 。 

下 一 节 将 用 一 个 程序 的 例子 来 阐明 这 种 方法 ， 这 个 程序 用 候选 解 排除 算法 来 学 习 搜索 启发 
式 的 信息 。LEX ( Mitchell et al. 1983) 学 习 启 发 式 信息 来 解决 符号 积分 问题 。 它 不 仅 演示 了 运用 
G 和 S 来 定义 部 分 概念 ， 还 解释 了 另外 的 一 些 问题 ， 如 学 习 多 步 任 务 的 复杂 性 ， 信 用 /惩罚 的 分 


配 ， 以 及 一 个 复杂 系统 的 学 习 和 问题 求解 部 件 之 间 的 关系 。 
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10. 2. 3 LEX: 启发 式 归纳 搜索 


LEX 学 习 启 发 式 信息 来 求解 符号 积分 问题 。LEX 通过 启发 式 搜索 求 算术 表达 式 的 积分 ， 初 
始 状态 是 待 积分 的 表达 式 ， 然 后 搜索 目标 : 不 包含 积分 符号 的 表达 式 。 系 统 的 学 习 部 件 用 问题 求 
解 器 的 数据 来 推导 能 改善 问题 求解 器 性 能 的 启发 式 信息 。 

LEX 对 由 代数 表达 式 的 操作 定义 的 空间 进行 搜索 。 操 作 符 是 用 于 积分 的 典型 转换 。 它 们 包括 : 

OP1: frf(x) dx 一 了 foo dx 

OP2: ju 一 u -vd 

OP3: ”1#f(x) 一 f(x) 

OP4: fo + f(x)) dx —> f(x) dx + f(x) dx 

操作 符 是 规则 ， 它 的 左 半 边 决定 了 何 时 应 用 这 条 规则 。 虽 然 左 半边 定义 了 什么 情况 下 会 用 
到 这 个 操作 符 ， 但 它 并 没有 包含 何 时 这 个 操作 符 应 该 用 到 的 启发 式 信息 。LEX 必须 通过 它 自身 
的 经 验 来 学 习 有 用 的 启发 式 信 息 。 启 发 式 信息 是 如 下 形式 的 表达 式 : 


if the current problem state matches P then apply operator O with bindings B. 
例如 ，LEX 可 能 学 习 到 的 一 个 典型 启发 式 信息 : 


If a problem state matches | x transcendental(x) dx, 
then apply OP2 with bindings 
U=X 
dv = transcendental(x) dx 
这 里 ， 启 发 式 信息 暗示 运用 分 部 积分 来 求解 x 乘 以 x 为 变量 的 某 个 先 验 函 数 〈 例 如 ， 三 角 函 数 ) 
的 积分 。 
LEX 的 表示 概念 的 语言 由 图 10-11 所 描述 的 符号 组 成 。 需 要 指出 的 是 这 些 符 号 存在 于 泛 化 层 
次 中 ， 任 何 符号 匹配 比 它 层次 低 的 子孙 。LEX 通过 用 一 个 符号 来 替换 它 的 祖先 来 泛 化 表达 式 。 
例如 ， 给 定 表达 式 : 


3x cos(x) dx 

LEX 可 以 用 trig 替换 cos。 这 样 产生 出 表达 式 : 
| 3x trig(x) dx 

或 者 ， 它 可 以 用 表示 任意 整数 的 符号 K 来 替换 3: 
J kx cos(x) dx 


图 10-12 给 出 了 由 这 些 泛 化 定义 的 操作 2 (OP2) 的 变形 空间 。 

LEX 的 整体 结构 由 四 部 分 组 成 : 

1) 用 候选 解 排除 算法 来 寻找 启发 式 信息 的 活化 程序 。 

2) 产生 问题 解 路 径 的 问题 求解 器 。 

3) 对 问题 产生 正 例 和 反例 的 判别 标准 。 

4) 产生 新 的 候选 问题 的 问题 产生 程序 。 

LEX 维护 一 组 变形 空间 。 每 个 变形 空间 与 一 个 操作 符 相 关 ， 并 表示 对 这 个 操作 符 学 到 的 部 
分 启发 式 信息 。 泛 化 程序 用 这 个 操作 符 应 用 的 正 例 和 反例 来 更 新 变形 空间 ， 正 例 和 反例 根据 判 
别 标 准 产生 。 一 旦 接收 到 一 个 正 例 ，LEX 看 这 个 操作 符 相 关 的 变形 空间 是 否 包含 这 个 实例 。 如 
果实 例 被 G 中 的 某 些 概念 覆盖 ， 变 形 空间 就 包含 这 个 正 例 。LEX 然后 就 用 这 个 正 例 来 更 新 启发 
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expr 
r (op expr expr) (f arg) 
八 
prim (comb ff} 
-101 152 3.1416... transc poly op 
trig explog 


sin cos tan In exp 


图 10-11 LEX 符号 层次 的 一 部 分 


G: ff1(x) f2(2) dx 一 = apply OP2 





| poty(x) {2(x) dx | transc(x) f200 dx 
一 > 应 用 OP2 一 > 应 用 OP2 
J kx cos(x) dx J 3x trig(x) dx 
一 = 应 用 OP2 一 皮 用 OP2 





S: 3x cos(x) dx 一 = 应 用 OP2 


图 10-12 操作 2 的 变形 空间 ， 摘 自 Mitchell 等 (1983) 


式 信息 。 如 果 现 有 的 启发 式 信息 都 不 匹配 这 个 实例 ，LEX 就 产生 一 个 新 的 变形 空间 ， 并 把 这 个 
实例 当做 第 一 个 正 例 。 这 样 对 一 个 操作 符 就 会 产生 多 个 变形 空间 ， 对 应 不 同 的 启发 式 信息 。 

LEX 的 问题 求解 器 建立 一 棵 求解 积分 问题 要 搜索 的 空间 树 ， 它 限制 了 问题 求解 器 用 来 求解 
问题 的 CPU 时 间 。LEX 用 它 自己 得 到 的 启发 式 信息 进行 最 佳 优 先 搜索 。LEX 执行 的 一 个 令 人 感 
兴趣 的 方面 是 它 用 G 和 S 来 作为 启发 式 信息 的 部 分 定义 。 如 果 不 止 一 个 操作 符 可 以 用 到 给 定 状 
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态 ，LEX 就 选择 对 问题 状态 部 分 匹配 程度 最 高 的 那个 操作 符 。 部 分 匹配 程度 定义 为 匹配 当前 状 
态 的 概念 数 与 介 于 G 和 S 之 间 的 所 有 概念 数 的 百分比 。 由 于 对 所 有 候选 概念 都 测试 状态 的 计算 
开销 非常 大 ，LEX 用 匹配 状态 的 概念 数 与 实际 在 G 和 S 中 的 概念 数 的 百分比 来 估计 匹配 程度 。 
需要 指出 的 是 ， 当 LEX 改进 启发 式 信息 时 ， 执 行 的 性 能 应 该 稳步 改善 。 经 验 结论 已 经 证 实 了 这 
个 猜测 。 

LEX 从 问题 求解 器 产生 的 解 路 径 来 得 到 操作 符 应 用 的 正 例 和 反例 。 由 于 没有 教师 ，LEX 必 
须 把 操作 符 应 用 区 分 为 正 例 或 反例 ; 这 是 个 信用 分 配 问 题 。 在 多 步 问题 求解 的 过 程 中 ， 程 序 通常 
不 清楚 序列 中 的 哪个 动作 要 对 结果 负责 。 如 果 问 题 求解 器 最 后 得 到 了 错误 的 解 ， 我 们 怎么 知道 
哪 一 步 导致 了 这 个 错误 呢 ?LEX 对 这 个 问题 的 判别 标准 是 假定 问题 求解 器 返回 的 解 的 路 径 代表 
到 目标 的 最 短路 经 。LEX 把 沿 着 〈 假 定 的 ) 最 短路 径 的 操作 符 应 用 当 作 正 例 ， 脱 离 这 条 路 径 的 
被 认为 是 反例 。 

但 是 ， 因 为 把 问题 求解 器 的 解 路 径 当 作 解 的 最 短路 径 ， 所 以 判别 标准 必须 处 理 这 样 的 情 
况 : LEX 的 逐步 启发 式 信息 不 能 保证 被 承认 ( 见 4.3 节 ) 。 问 题 求解 器 找到 的 解 路 径 可 能 不 是 
真正 的 最 短 解 路 径 。 为 了 保证 它 没有 把 一 个 操作 符 应 用 错误 地 划分 为 反例 ，LEX 先 扩展 由 这 
些 操作 符 开始 的 路 径 来 确保 它们 不 会 得 出 一 个 更 好 的 解 。 通 常 ， 一 个 问题 的 解 会 产生 2 ~ 20 
个 训练 实例 。LEX 把 这 些 正 例 和 反例 传 给 泛 化 程序 ， 泛 化 程序 用 它们 来 更 新 与 操作 符 相 关 的 
变形 空间 。 

问题 产生 程序 是 系统 中 最 不 发 达 的 部 分 。 虽 然 有 很 多 策略 用 于 自动 问题 选择 ， 但 是 大 多 
数 例子 涉及 手工 选择 实例 。 另 一 方面 ， 问 题 产生 程序 是 浏览 了 大 量 策略 建立 起 来 的 。 一 种 方 
法 会 生成 被 两 个 不 同 的 操作 符 的 部 分 启发 式 信 息 所 覆盖 的 实例 ， 以 使 LEX 学 习 两 者 之 间 的 
区 别 。 

经 验 测试 显示 LEX 学 习 有 用 的 启发 式 信息 是 很 有 效 的 。 在 一 个 测试 中 ， 我 们 给 定 LEX 5 个 
测试 问题 和 12 个 训练 问题 。 在 训练 之 前 ， 它 解决 5 个 测试 问题 ,平均 用 200 步 ; 这 些 解 没 有 用 
启发 式 信 息 来 指导 搜索 。 在 学 习 完 12 个 训练 问题 的 启发 式 信息 之 后 ， 它 求解 相同 的 测试 问题 ， 
平均 用 20 步 。 

LEX 解决 了 学 习 中 的 很 多 问题 ， 包 括 信用 分 配 、 训 练 实例 的 选择 、 学 习 算法 中 的 问题 求解 
和 泛 化 部 件 之 间 的 关系 。LEX 还 强调 概念 的 适当 表示 的 重要 性 。LEX 的 效率 大 多 来 自 于 概念 等 
级 的 组 织 。 这 个 等 级 很 小 ， 可 以 用 来 限制 潜在 启发 式 信息 的 空间 并 进行 有 效 的 搜索 ， 它 虽然 很 
小 ， 却 足以 表示 有 效 的 启发 式 信 息 。 


10. 2. 4 评估 候选 解 排除 算法 


候选 解 排除 算法 演示 了 知识 表示 和 状态 空间 搜索 用 于 机 器 学 习 问 题 的 方式 。 但 是 ， 和 最 重 
要 的 研究 一 样 ， 这 个 算法 不 能 只 用 成 功 来 评价 它 。 它 的 一 些 问题 仍然 在 机 器 学 习 研 究 中 占 了 很 
大 一 部 分 。 

像 所 有 的 搜索 问题 一 样 ， 基 于 搜索 的 学 习 必须 处 理 问题 空间 的 合并 问题 。 因 为 候选 解 排除 
算法 进行 宽度 优先 搜索 ， 所 以 它 可 能 是 没有 效率 的 。 如 果 应 用 程序 中 G 和 S 过 量 增 长 ， 那 么 开 
发 启发 式 方法 来 修剪 G 和 S 中 的 状态 ， 先 实现 最 有 效 的 部 分 ， 或 进一步 对 空间 进行 定向 搜索 
( 见 4.5 节 ) 来 学 习 启发 式 信息 ， 会 是 很 有 用 的 。 

解决 这 个 问题 的 男 外 一 种 办 法 是 采用 归纳 偏 置 来 进一步 缩减 概念 空间 的 大 小 ，16.4 节 中 
讨论 了 这 种 方法 。 这 个 偏 置 限制 了 用 来 表示 概念 的 语言 。LEX 通过 选择 泛 化 等 级 中 的 概念 来 
施加 偏 置 。 虽 然 不 完备 ， 但 LEX 的 概念 语言 足以 得 出 很 多 启发 式 信息 ; 同样 重要 的 是 ， 它 把 
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概念 空间 的 大 小 缩小 到 了 可 以 控制 的 比例 。 施 加 了 偏 置 的 语言 对 缩减 概念 空间 的 复杂 性 是 很 
必要 的 ， 但 它们 可 能 会 使 学 习 器 不 能 表示 想 要 学 习 的 概念 。 在 这 种 情况 下 ， 候 选 解 排除 算法 
就 不 能 收敛 于 要 学 习 的 概念 ， 使 得 G 和 S 为 空 。 表 达能 力 和 有 效 性 之 间 的 权衡 是 学 习 的 重要 
问题 。 

算法 不 能 收敛 的 原因 还 可 以 归结 为 训练 数据 中 的 一 些 噪声 或 不 一 致 性 。 从 有 了 噪声 的 数据 中 
学 习 的 问题 在 实际 应 用 中 尤为 重要 ， 在 实际 中 数据 不 能 保证 是 完整 的 或 者 一 致 的 。 候 选 解 排 除 
算法 是 不 能 有 噪声 的 ， 即 使 是 一 个 错误 分 类 的 训练 实例 也 能 阻止 算法 在 一 致 概念 上 收敛 。 这 个 
问题 的 一 个 解决 办 法 是 维护 多 个 G 和 S 集合。 除了 从 所 有 训练 实例 得 出 的 变形 空间 外 ， 还 维护 
额外 的 空间 ， 这 个 空间 基于 除了 一 个 之 外 的 所 有 实例 ， 除 了 两 个 之 外 的 所 有 实例 ， 等 等 。 如 果 G 
和 S 不 能 收 合 ,算法 可 以 寻找 其 他 仍然 一 致 的 空间 。 不 幸 的 是 ， 这 种 办 法 会 产生 大 量 的 候选 集 
合 ， 它 在 大 多 数 情况 下 没有 效率 ， 很 不 实用 。 

这 个 研究 引起 的 另外 一 个 问题 是 学 习 中 先 验 知识 的 作用 。LEX 的 概念 等 级 综合 了 代数 的 大 
基 知 识 ， 这 个 知识 对 算法 的 性 能 非常 重要 。 更 多 数量 的 领域 知识 能 使 学 习 更 有 效 吗 ? 10. 5 节 将 
讨论 这 个 问题 。 

这 些 工作 的 重要 贡献 是 说 明了 知识 表示 、 泛 化 和 归纳 学 习 中 的 搜索 之 间 的 关系 。 虽 然 候选 
解 排除 算法 只 是 很 多 学 习 算 法 中 的 一 种 ， 但 它 引 出 了 有 关 复 杂 性 、 表 达能 力 ， 以 及 运用 知识 和 数 
据 指导 泛 化 的 通用 问题 。 这 些 问 题 是 所 有 机 器 学 习 算法 的 中 心 问题 ;在 本 章 中 ， 我 们 将 继续 讨论 
这 些 问 题 。 


10. 3 1D3 决策 树 归 纳 算法 


ID3 (Quinlan 1986a) 和 候选 解 排除 算法 一 样 ， 从 实例 中 归纳 概念 。 它 尤为 吸引 人 的 地 方 在 
于 它 对 学 到 知识 的 表示 ， 控 制 计算 复杂 性 的 办 法 ， 它 选择 候选 概念 的 启发 式 信息 ， 和 它 处 理 有 品 
声 数据 的 潜力 。ID3 用 决策 树 来 表示 概念 ， 这 种 表示 使 我 们 能 够 用 测试 特定 属性 值 的 方法 决定 对 
象 的 分 类 。 

例如 ,估计 个 人 信用 风险 的 问题 ， 要 基于 这 样 一 些 属性 ， 如 信用 历史 、 当 前 债务 、 抵 
押 和 收入 。 表 10-1 列 出 了 已 知 信用 风险 的 个 人 的 样本 。 图 10-13 的 决策 树 表示 了 表 10-1 中 
的 分 类 ， 因 为 这 棵 树 能 对 表 中 的 所 有 对 象 进行 正确 的 分 类 。 在 决策 树 中 ， 每 个 内 部 结 点 表 
示 对 某 些 属性 的 测试 ， 如 信用 历史 或 债务 ， 这 个 属性 的 每 个 可 能 的 值 对 应 树 的 一 个 分 支 。 
叶 结 点 表示 类 别 ， 如 低 或 中 等 风险 。 通 过 遍历 这 棵 树 对 未 知 类 别 的 个 人 进行 分 类 : 在 每 个 
内 部 结 点 ， 测 试 此 人 这 个 属性 的 值 ， 取 相应 的 边 。 继 续 这 一 操作 ， 直 到 到 达 叶 结 点 ， 就 找 
到 了 该 对 象 的 分 类 。 


表 10-1 借贷 应 用 中 信用 历史 的 数据 





No. 风险 信用 历史 债务 抵押 收 入 
1 高 坏 高 无 0 ~15 000 美元 
2 高 未 知 高 无 15 000 ~35 000 美元 
3 中 等 未 知 低 无 15 000 ~35 000 美元 
4 高 未 知 低 无 0 ~15 000 美元 
5 低 未 知 低 无 起 过 3 000 美元 


6 低 未 知 低 充分 超过 35 000 美元 
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( 续 ) 
一 一  ( 续 ) 
No. 风险 信用 历史 债务 抵押 收 入 
7 高 坏 低 无 0 ~15 000 美元 
中 等 坏 低 充分 超过 35 000 美元 
9 低 好 低 无 超过 35 000 美元 
10 低 好 高 充分 超过 35 000 美元 
11 高 好 高 无 0 ~15 000 美元 
12 中 等 好 高 无 15 000 ~35 000 美元 
13 低 好 高 无 超过 35 000 美元 
14 高 坏 高 无 15 000 ~ 35 000 美 
信用 历史 ? 
-全 人 
债务 ? 入 债务 ? 
无 充分 AN 
/ \ / \ 


低 风险 区 


0~15 000 美 元 15 000~35 000 美 元 超过 35 000 美 元 ”0-15 15 000~35 000 美 元 超过 35 Ro 


| AN | 
和 


图 10-13 信用 风险 评定 的 决策 树 


需要 注意 的 是 在 对 任何 给 定 的 实例 进行 分 类 时 ， 这 棵 树 并 没有 用 到 表 10-1 给 出 的 所 有 属性 。 
例如 ， 如 果 一 个 人 有 好 的 信用 历史 和 低 的 债务 ， 根 据 这 棵 树 ， 我 们 可 以 忽略 掉 他 的 抵押 和 收入 ， 
而 把 他 分 类 为 低 风 险 。 尽 管 省 略 了 某 些 测试 ， 这 棵 树 仍然 对 所 有 的 实例 进行 了 正确 的 分 类 。 
收入 ? 


0~15 000 美 元 15 000~35 000 美 元 。 超过 35 000 美 元 


RE / AN 


信用 历史 ? 信用 历史 ? 


未 知 好 知 好 
一 AN 上 下 ~ 
佬 务 ? | GE [下 等 风险 ] 中 等 风险 ] 【 低 风 险 


高 ” 低 


10-14 ”信用 风险 评定 的 简化 的 决策 树 
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通常 ， 对 给 定 实例 集 分 类 所 必需 的 树 的 大 小 ， 随 测试 属性 的 顺序 而 不 同 。 图 10-14 给 出 的 树 
比 图 10-13 中 的 树 要 简单 得 多 ， 但 同样 能 对 表 10-1 中 的 实例 进行 正确 的 分 类 。 

给 定 训 练 实例 集 和 能 对 它们 正确 分 类 的 一 组 不 同 的 决策 树 ， 我 们 可 能 要 问 哪 樟树 对 未 来 实 
例 正确 分 类 的 可 能 性 最 大 。ID3 算法 假定 可 能 性 最 大 的 树 是 能 覆盖 所 有 训练 实例 的 最 简单 的 决策 
树 。 这 个 假定 的 基本 原理 有 着 悠久 的 历史 ， 它 强调 简单 性 避免 元 余 。 这 个 原则 就 是 我 们 熟知 的 奥 
卡 姆 剃刀 ， 它 最 早 是 由 中 世纪 的 逻辑 学 家 William of Occam 在 1324 年 提出 来 的 ; 


如 果 少 做 就 能 完成 ， 多 做 的 就 是 徒劳 一 如 无 必要 ， 勿 增 实体 。 


奥 卡 姆 剃刀 用 现在 的 话说 是 我 们 要 接受 正确 符合 数据 的 最 简单 解 。 在 我 们 的 例子 中 ， 则 是 
能 够 对 所 有 给 定 实例 正确 分 类 的 最 小 决策 树 。 

虽然 奥 卡 姆 剃刀 已 经 证 明 它 自己 是 所 有 智慧 活动 的 通用 启发 式 信息 ， 它 在 这 种 情况 下 的 应 
用 有 一 个 更 特定 的 理由 。 如 果 假 定 给 定 的 实例 足以 建立 一 个 有 效 的 泛 化 ， 则 我 们 的 问题 就 变 成 
了 区 分 必要 属性 和 无 关 属 性 的 问题 。 覆 盖 所 有 实例 的 最 简单 的 决策 树 应 该 最 不 可 能 包含 不 必要 
的 限制 。 虽 然 这 个 想法 直觉 上 来 想 ， 非 常 吸 引 人 ， 然 而 它 是 一 个 必须 由 经 验 验证 的 假定 ; 10. 3.3 
节 给 出 了 一 些 经 验 结果 。 在 研究 这 些 结果 之 前 ， 我 们 先 给 出 从 实例 中 归纳 出 决策 树 的 ID3 算法 。 


10.3.1 自 项 向 下 决策 树 归纳 


ID3 算法 以 自 顶 向 下 的 方式 建造 决策 树 。 对 于 任意 属性 ， 我 们 可 以 把 训练 实例 集合 划分 成 不 
相连 的 子 集 ， 一 个 划分 中 的 所 有 实例 有 这 个 属性 的 共同 的 值 。ID3 选择 一 个 属性 在 树 的 当前 结 点 
测试 ， 并 用 这 个 测试 来 划分 实例 集 ; 然后 算法 递归 地 建立 每 个 划分 的 子 树 。 这 一 直 持 续 直 到 划分 
中 的 所 有 成 员 在 同一 类 别 中 ; 这 个 类 别 成 为 树 的 叶 结 点 。 由 于 测试 的 顺序 对 于 建造 简单 的 决策 
树 非常 重要 ，ID3 非常 依赖 于 在 每 个 子 树 的 根 结 点 选择 测试 的 标准 。 为 了 简化 我 们 的 讨论 ， 本 章 
节 描 述 的 建造 决策 树 的 算法 假定 有 一 个 适当 的 测试 选择 函数 。 在 10..3.2 节 中 ， 我们 给 出 ID3 算 
法 选择 的 启发 式 信息 。 

例如 ,考虑 ID3 从 表 10- 1 建造 图 10-14 中 的 树 的 方式 。 初 始 时 有 整个 表 的 实例 ，ID3 用 
10. 3. 2 节 中 描述 的 选择 函数 选择 收入 为 根 属性 。 它 对 实例 集 的 划分 如 图 10-15 ， 每 个 划分 的 元 素 
用 表 中 它们 的 编号 列 出 来 。 


收入 ? 


0~15 000 美 元 15 000~35 000 美 元 ”超过 35 000 美 元 


实例 {1,4,7,11} 实例 {2,3,12,14} 实例 {5,6,8,9,10,13} 
图 10-15 一 个 部 分 建立 的 决策 树 
归纳 算法 初始 状态 是 对 目标 类 别 正确 分 类 的 成 员 的 样本 。ID3 根据 以 下 算法 建造 决策 树 : 


function induce_tree (example_set, Properties) 


begin 
if all entries in exampile_set are in the same class 
then return a leaf node labeled with that class 
else if Properties is empty 
then return leaf node labeled with disjunction of all classes in example_set 
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else begin 
select a property P, and make it the root of the current tree.; 
delete P from Properties; 
for each value, V, of P, 
begin 
create a branch of the tree labeled with V; 
let partition, be elements of example_set with values V for property P:; 
call induce_tree(partition,, Properties), attach result to branch V 
end 
end 
end 
ID3 对 每 个 划分 递归 运用 函数 induce_tree。 例 如 ， 划 分 {1,4,7, 11} 包含 全 部 高 风险 的 个 人 ， 
ID3 相应 地 创建 一 个 叶 结 点 。ID3 选择 属性 信用 历史 作为 划分 {2, 3, 12, 14} 子 树 的 根 结 点 。 在 图 
10-16 中 ,信用 历史 把 这 4 个 元 素 进一步 划分 成 {(2,3} 、{14} 和 {12} 。 继 续 以 这 种 方式 选择 测试 和 
建立 子 树 ，ID3 最 终 产生 图 10-14 中 的 树 。 读 者 可 以 自己 做 一 下 这 个 建立 过 程 剩余 部 分 的 工作 ; 
我 们 在 补充 材料 中 给 出 了 一 个 LISP 的 实现 。 


收入 ? 


0~15 000 美 元 15 000~35 000 美 元 超过 35 000 美 元 


高 风险 信用 历史 ? 实例 {5,6,8,9,10,13} 


知 好 


实例 {2,3} 实例 {14} De 
图 10-16 另外 一 个 部 分 建立 的 决策 树 


在 给 出 ID3 的 测试 选择 启发 式 信息 之 前 ， 研 究 一 下 决策 树 建 造 算法 和 把 搜索 看 成 是 对 概念 空 
间 搜 索 的 关系 是 很 有 意义 的 。 我 们 可 以 把 所 有 可 能 的 决策 树 集合 看 成 是 定义 一 个 变形 空间 。 在 
这 个 空间 中 移动 的 操作 包括 对 树 增加 测试 。ID3 在 所 有 可 能 树 的 空间 中 实现 了 一 种 贪心 搜索 ; 对 
当前 树 增 加 一 个 子 树 ， 并 继续 搜索 ， 而 且 不 回溯 。 这 使 算法 非常 高 效 而 且 不 依赖 于 选择 测试 属性 
的 判别 标准 。 


10. 3.2 ”测试 选择 的 信息 论 方法 


我 们 可 以 把 实例 的 每 个 属性 看 成 是 对 它 的 分 类 增加 一 定数 量 的 信息 。 例 如 ， 如 果 我 们 的 目 
标 是 确定 一 个 动物 的 类 别 ， 它 下 蛋 这 个 发 现 对 于 目标 增加 了 一 定数 量 的 信息 。ID3 通过 把 每 个 属 
性 当 作 当前 子 树 的 根 结 点 来 度量 信息 增益 。 然 后 算法 选取 提供 最 大 信息 增益 的 属性 。 

信息 论 (Shannon 1948) 提供 了 度 基 一 条 消息 的 信息 含量 的 数学 基础 。 可 以 把 一 条 消息 看 成 
是 可 能 消息 空间 的 一 个 实例 ; 传播 消息 的 动作 就 相当 于 从 可 能 的 消息 中 挑选 出 一 个 消息 。 从 这 
个 观点 来 看 ， 定 义 一 条 消息 的 信息 含量 既 依赖 于 这 个 空间 的 大 小 ， 又 依赖 于 每 个 可 能 消息 出 现 
的 频率 ， 这 是 很 合理 的 。 

可 能 消息 的 数量 很 重要 ， 我 们 可 以 从 周 博 的 例子 中 看 出 来 :比较 正确 预测 转盘 旋转 的 结果 
的 消息 和 正确 预测 投掷 硬币 的 结果 的 消息 。 因 为 转盘 比 硬币 有 更 多 的 结果 出 现 ， 正 确 预测 转盘 
的 消息 对 我 们 更 有 价值 : 赌 赢 转盘 赢 的 钱 要 比 赌 赢 硬 币 多 。 所 以 ， 我 们 认为 正确 预测 转盘 的 消息 


288 甸 四 喜 分 林 如 学 了 了 了 





传达 了 更 多 的 信息 。 

每 条 消息 出 现 概率 对 信息 含量 的 影响 可 以 从 另外 一 个 赌博 例子 中 看 出 来 。 假设 我 对 硬币 进 
行 作弊 使 它 有 头像 的 一 面 出 现 概率 为 3/4。 因 为 我 已 经 知道 打赌 猜 对 硬币 的 概率 为 3/4， 告 诉 我 
投 措 给 定 的 硬币 结果 的 消息 就 不 如 关于 未 作 峰 的 硬币 的 消息 有 价值 。 

Shannon 对 这 些 进 行 了 形式 化 ， 定 义 一 条 消息 中 的 信息 量 为 每 条 可 能 消息 出 现 概率 p 的 函 
数 ， 即 -logp。 给 定 消息 空间 M ={m,, m。,…, m,} 和 每 条 消息 出 现 的 概率 ptm ) ， 消 息 M 的 信 
息 含 量 期 望 如 下 式 : 


n 
I[M]= [Sr-pm log> (P(mi)) | = E[-logzp(mi)] 


i=1 
消息 的 信息 含量 用 比特 来 度量 。 例 如 ， 告 诉 掷 普通 硬币 结果 的 消息 的 信息 含量 是 ， 
1[Coin toss] = -p(theads)log,(p(heads)) -pftails)logz(p(tails)) 


1 1 1 1 
= -3 092 (2)-8 lo92 (3) 
= 1 bit 
但 如 果 作 蛛 后 的 硬币 出 现 头像 的 可 能 性 为 75% ， 则 这 条 消息 的 信息 含量 是 : 


I[Coin toss] = -5 log> (全 - 了 log, Ga) 


= 4*(-0.415) -3*(-2) 
= 0.811 bits 


这 个 定义 对 我 们 直觉 上 对 消息 的 信息 含量 的 很 多 理解 进行 了 形式 化 。 信 息 论 广泛 应 用 于 计 
算 机 科学 和 电信 中 ， 应 用 包括 确定 通信 信道 的 信息 传输 容量 ， 研 制 数据 压缩 算法 和 研制 抗 噪声 
的 通信 策略 。ID3 用 信息 论 来 选择 对 训练 实例 分 类 时 给 出 最 大 信息 增益 的 测试 。 

可 以 把 决策 树 看 成 是 传递 有 关 决 策 表 中 训练 实例 分 类 的 信息 ; 树 的 信息 含量 由 不 同 分 类 的 
概率 来 计算 。 例 如 ， 假 定 表 10-1 中 的 实例 以 相同 的 概率 出 现 ， 则 : 


p(risk is high) = 6/14, p(risk is moderate) = 3/14, p(risk is low) = 5/14 


接 下 来 是 表 10-1 中 的 分 布 Ds ,和 覆盖 这 些 实例 的 树 的 信息 含量 : 


6 6 3 3 5 5 
[Ds 1] = -14 oga (14)- 宇 109a (向 )- 议 1092 (各 ) 


-1 .485) 


6 3 
= -14*(-1:222) -74*(-2.222) -3 


= 1.531 bits 


在 当前 树 的 根 结 点 做 测试 所 提供 的 信息 增益 与 树 的 总 的 信息 量 减 去 测试 完 之 后 完成 分 类 所 
需 的 信息 量 相等 。 完 成 树 所 需 的 信息 量 定义 为 所 有 子 树 的 信息 量 的 加 权 平 均值 。 我 们 通过 把 每 
棵 子 树 的 信息 基 乘 以 这 棵 子 树 中 的 实例 对 所 有 实例 的 总 和 的 百分比 来 计算 加 权 平 均值 。 

假设 有 训练 实例 集 C。 如 果 我 们 把 有 n 个 值 的 属性 P 作为 当前 树 的 根 结 点 ， 这 将 把 C 分 成 
子 集 {C, C,,…, C,}。 在 把 P 当 作 根 结 点 后 完成 树 所 需 的 信息 的 期 望 为 ; 
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E[P] = by a ICi] 
i=1| 


从 属性 P 入 训斥 : 
gain(P) = I[C] ~ EI[P] 


在 表 10-1 的 例子 中 ， 如 果 我 们 把 属性 收入 (income)〉 当 作 树 的 根 结 点 ， 表 中 的 实例 划分 为 C = {1,4， 
7,111、C, = 12,3,12,14| 和 C= {5,6,8,9,10,13} 。 完 成 树 所 需 的 信息 期 望 为 ; 


Elincome] = 1 CH] + 本 Ta4* I[C2]+ 训 * 1[Cs] 
_ 4 6 
= 广 *0.0+14* 1.0+ 174* 0.650 
= 0.564 bits 


对 表 10-1 的 分 布 的 信息 增益 为 : 
gain(income) = I[Ds 1] - Elincome] 
= 1.531 - 0.564 
= 0.967 bits 
类 似 地 ， 可 以 得 到 ; 
gain(credit history) = 0.266 
gain(debt) = 0.063 
gain (collateral) = 0.206 
由 于 收入 提供 了 最 大 的 信息 增益 ，ID3 会 选择 它 作为 根 结 点 。 算 法 继续 递归 地 对 每 个 子 树 做 
这 种 分 析 ， 直 到 它 完 成 树 的 建造 。 


10. 3.3 评价 1D3 


虽然 ID3 算法 产生 简单 的 决策 树 ， 但 这 种 树 对 预测 未 知 实例 的 分 类 不 见得 一 定 有 效 。 人 们 已 
经 用 可 以 控制 的 测试 和 应 用 对 ID3 进行 了 评价 ， 并 证 明 在 实际 中 人 性 能 良好 。 

例如 ，Quinlan 已 经 评价 了 ID3 在 学 习 象 棋 最 后 阶段 棋局 分 类 问题 上 的 性 能 ( Quinlan 1983 ) 。 
最 后 阶段 白 方 一 个 王 一 个 车 ， 对 黑 方 一 个 王 一 个 骑士 。ID3 的 目标 是 学 习 辨 认 导 致 黑 方 在 3 步 以 
内 输 掉 的 棋局 。 特 性 是 棋局 的 不 同 的 高 层次 的 属性 ， 如 “不 能 安全 地 移动 王 ”。 测 试用 到 了 23 
个 这 样 的 特性 。 

一 旦 将 棋局 的 对 称 性 考虑 在 内 ， 整 个 问题 域 包含 140 万 个 不 同 的 棋局 ， 其 中 有 474 000 个 模 
局 黑 方 在 3 步 之 内 输 掉 。 测 试 ID3 是 先 给 出 一 个 随机 选择 的 训练 集 ， 然 后 在 随机 选 的 10 000 个 不 
同 棋局 上 测试 。Quinlan 的 测试 给 出 了 如 表 10-2 所 示 的 结果 。 预 测 的 最 大 错误 从 ID3 在 问题 域 中 
行为 的 统计 模型 得 出 。 进 一 步 的 分 析 和 细节 参见 Quinlan (1983) 。 


表 10-2 ”1D3 的 评价 








训练 集合 的 大 小 在 整个 空间 的 所 占 百 分 比 。 ”10 000 次 试验 中 的 错误 数 预测 的 最 大 错误 数 
200 0. 01 199 728 
1 000 0.07 33 146 
5 000 0.36 8 29 
25 000 1.79 6 7 


125 000 8.93 2 1 
一 
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进一步 的 经 验 研究 和 应 用 的 结果 支持 这 些 结果 。ID3 的 变种 常用 来 处 理 诸如 噪声 和 超大 训练 
集 的 问题 。 更 多 的 细节 参见 Quinlan (1986a，b) 。 


10. 3. 4 决策 树 数据 问题 : 打包 、 推 进 


Quinlan (1983) 第 一 个 提出 在 决策 树 学 习 中 用 信息 论 来 产生 子 树 ， 其 工作 是 我 们 所 给 出 的 
内 容 的 基础 。 但 我 们 的 例子 是 独立 的 ， 可 以 直接 使 用 。 还 有 很 多 我 们 没有 提 到 的 问题 ， 这 些 问 题 
经 常 在 大 数据 集中 出 现 : 

1) 数据 是 坏 的 。 可 能 会 出 现 两 个 (或 多 个 ) 相同 特性 集 给 出 不 同 的 结果 。 如 果 我 们 没有 先 
验 常 识 来 去 除数 据 ， 该 怎么 办 呢 ? 

2) 某 些 特性 集中 的 数据 丢失 ， 可 能 是 因为 获取 它 的 代价 太 高 。 我 们 进行 推测 ” 创建 一 个 新 
的 值 “ 未 知 ”? 我 们 怎么 来 平整 这 些 不 规则 性 ? 

3) 某 些 特性 集 是 连续 的 。 我 们 通过 把 “收入 ”的 连续 值 划分 成 方便 的 值 的 子 集 ， 然 后 用 这 
些 划 分 的 办 法 来 处 理 这 个 问题 。 还 有 更 好 的 方法 吗 ? 

4) 数据 集 对 于 学 习 算 法 来 说 可 能 太 大 了 。 我 们 怎么 来 处 理 这 个 问题 ? 

这 些 问题 的 提出 产生 了 ID3 之 后 的 新 一 代 的 决策 树 学 习 算 法 。 这 当中 最 值得 一 提 的 是 C4. 5 
(Quinlan 1996 ) 。 这 些 问 题 还 导致 了 诸如 打包 和 推进 技术 的 出 现 。 由 于 分 类 器 学 习 系统 的 数据 是 
属性 值 向 量 或 者 实例 ， 操 纵 数据 来 看 是 否 产生 了 不 同 的 分 类 器 是 很 吸引 人 的 。 

打包 通过 从 训练 实例 的 置换 中 抽样 来 产生 复制 的 训练 集 。 推 进 使 用 每 个 置换 中 的 所 有 实例 ， 
但 对 训练 集中 的 每 个 实例 赋予 一 个 权 值 ， 用 这 个 权 值 来 反映 向 量 的 重要 性 。 当 权 值 被 调整 时 ， 就 
产生 了 不 同 的 分 类 器 ， 这 是 因为 权 值 引 起 学 习 器 聚焦 于 不 同 的 实例 。 在 每 种 情况 下 ， 产 生 的 多 类 
分 类 器 通过 投票 形成 一 个 综合 的 分 类 器 被 合并 起 来 。 在 打包 中 ， 每 个 组 件 分 类 器 有 同样 的 选票 ， 
而 推进 基于 组 件 分 类 器 的 精确 性 分 配 不 同 的 选票 。 

在 处 理 大 数据 量 的 问题 时 ， 通 常 把 数据 划分 成 子 集 ， 对 子 集 建造 决策 树 ， 然 后 测试 它 对 于 其 
他 子 集 的 精确 性 。 现 在 有 关 决 策 树 学 习 的 文献 非常 广泛 ， 有 大 量 的 联机 数据 集 ， 和 对 这 些 数 据 运 
用 不 同 版 本 的 决策 树 算法 大 量 的 经 验 结果 显示 。 

最 后 ， 把 决策 树 转 化 为 相应 的 规则 集 是 很 简单 的 。 我 们 可 做 的 是 把 决策 树 每 个 可 能 的 路 径 
转化 为 一 条 规则 。 规 则 的 模式 〈 即 它 的 左 半 边 ) 由 产生 叶 结 点 的 决策 组 成 。 动 作 〈 即 它 的 右 半 
边 ) 是 叶 结 点 ， 或 者 说 是 树 的 结果 。 这 个 规则 集 可 以 进一步 定制 来 匹配 决策 树 中 的 子 树 。 这 个 
规则 紧 接着 可 以 用 来 对 新 数据 进行 分 类 。 

10. 4 ”归纳 偏 置 和 学 习 能 

到 目前 为 止 ， 我 们 的 讨论 着 重 于 用 经 验 数据 来 指导 泛 化 。 但 是 ， 成 功 的 归纳 还 依赖 于 先 验 知 
识 和 对 要 学 习 的 概念 本 质 的 假定 。 归 纳 偏 置 (inductive bias) 是 指 学 习 器 用 来 限制 概念 空间 或 者 
在 这 个 空间 中 选择 概念 的 任何 标准 。 在 下 一 节 ， 我 们 讨论 偏 置 需要 什么 和 学 习 器 运用 的 典型 的 
偏 置 类 型 。10. 4. 2 节 介 绍 量化 归纳 偏 置 有 效 性 的 理论 结果 。 


10. 4. 1 归纳 偏 置 


学 习 空 间 变 得 越 来 越 大 ; 如 果 没 有 一 些 方法 来 修剪 它们 ， 基 于 搜索 的 学 习 就 没有 实用 性 。 例 
如 ， 考 虑 从 正 反例 中 学 习 位 串 〈0 和 工 组 成 的 串 ) 的 分 类 问题 。 因 为 分 类 只 是 所 有 可 能 串 的 集合 
的 子 集 ， 分 类 的 总 数目 等 于 总 集 数 目的 寡 集 ， 或 者 所 有 子 集 的 集合 。 如 果 有 m 个 实例 ,就 有 2" 
个 可 能 的 分 类 。 但 对 于 n 个 位 的 串 ， 有 2" 个 不 同 的 串 。 于 是 , 对 长 度 为 n 的 位 串 , 有 2 的 2" 个 不 
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同 的 分 类 。 对 n =50， 这 个 数目 比 已 知 世界 中 的 分 子 数 目 还 大 。 如 果 没 有 一 些 启发 式 的 限制 ,学 
习 融 就 不 可 能 有 效 地 在 整个 空间 里 却 是 最 小 的 域 中 搜索 。 

偏 置 很 必要 的 另 一 个 原因 是 归纳 泛 化 自身 的 本 质 。 泛 化 并 不 保 真 。 例 如 ， 如 果 我 们 遇 到 一 个 
诚实 的 政治 家 ， 有 理由 假定 所 有 政治 家 都 是 诚实 的 吗 ? 遇 到 多 少 个 诚实 的 政治 家 之 后 我 们 才能 
有 理由 做 这 个 假定 ? Hume 在 几 百年 前 讨论 了 这 个 问题 ， 即 我 们 所 知道 的 归纳 问题 ， 


你 说 一 个 命题 是 从 另外 的 命题 中 推出 来 的 ; 但 是 你 必须 承认 推理 是 不 直观 的 ， 也 不 能 演示 。 
那 它 的 本 质 是 什么 呢 ? 说 它 是 实验 性 的 是 回避 问题 的 实质 。 从 经 验 所 得 到 的 推理 ， 如 同 它们 推理 
的 基础 一 样 ， 假 设 将 来 与 过 去 相似 ， 相 似 的 力量 与 相似 的 特征 同时 起 作用 (Hume 1748) 。 


顺便 说 一 下 ， 在 18 世纪 Hume 的 工作 被 认为 是 对 智慧 的 威胁 ， 尤 其 是 宗教 团体 试图 用 数学 
来 证 明神 的 存在 性 和 属性 。 在 相反 的 理论 中 ， 试 图 揉 救 “ 确 实 性 ”的 理论 是 由 一 个 英国 的 传教 
士 Rev Bayes 提出 的 理论 ， 见 第 5、9 和 13 章 。 下 面 再 回 到 归纳 中 来 。 

在 归纳 学 习 中 ， 训 练 数据 只 是 域 中 所 有 实例 的 一 个 子 集 ; 所 以 ,任意 一 个 训练 集 可 以 支持 很 
多 不 同 的 泛 化 。 在 我 们 位 串 分 类 器 的 例子 中 ， 假 设 给 定 学 习 器 串 {1100,1010| 为 某 些 串 类别 的 
正 例 。 很 多 泛 化 与 这 些 实例 一 致 : 以 “1” 开 头 以 “0” 结 尾 的 所 有 串 的 集合 ， 以 “1” 开头 的 所 
有 串 的 集合 ， 偶 数 奇偶 性 的 所 有 串 的 集合 ， 或 者 包含 11100,10101 的 其 他 的 子 集 。 学 习 器 要 从 
这 些 泛 化 中 选 娜 个 来 用 呢 ? 仅 有 数据 是 不 充分 的 ; 所 有 这 些 选 择 都 与 数据 一 致 。 学 习 器 必须 对 
“可 能 的 ”概念 做 进一步 的 假设 。 

在 学 习 中 ， 这 些 假设 经 常 以 选择 搜索 空间 的 启发 式 信息 的 形式 出 现 。ID3 ( 见 10.3.2 节 ) 中 
用 到 的 信息 论 测试 选择 函数 就 是 这 种 启发 式 信息 的 一 个 例子 。ID3 对 决策 树 空间 进行 您 山 法 搜 
索 。 在 搜索 的 每 个 阶段 ， 它 研究 可 以 用 来 扩展 树 的 所 有 测试 ， 并 选择 有 最 大 信息 增益 的 那个 。 这 
是 “贪心 ”启发 式 信息 : 它 选择 朝 目 标 状态 移动 最 长 距离 的 分 支 。 

这 个 启发 式 信息 使 ID3 能 对 决策 树 空间 进行 有 效 的 搜索 ， 还 解决 了 从 有 限 的 数据 中 选择 似 真 
的 泛 化 的 问题 。ID3 假定 能 对 所 有 给 定 实例 正确 分 类 的 最 小 的 树 最 有 可 能 对 未 来 的 实例 正确 分 
类 。 这 个 假定 的 基本 原理 是 小 的 决策 树 最 不 可 能 做 出 不 被 数据 支持 的 假设 。 如 果 训 练 集 足够 大 
而 且 是 对 象 总体 的 如 实 反映 ， 这样 的 树 应 该 包含 且 仅 包含 决 定 类 别 素 属 度 的 必要 检验 。 像 在 
10. 3. 3 节 所 讨论 的 ， 经 验 的 评价 显示 这 个 假设 可 以 被 很 好 地 证 实 。 很 多 学 习 算 法 都 用 到 了 这 种 
对 简单 概念 定义 的 偏好 ， 如 10. 6. 2 节 中 的 CLUSTER/2 算法 。 

另外 一 种 形式 的 归纳 偏 置 由 表示 对 学 到 概念 的 语法 限制 组 成 。 这 种 偏 置 不 是 在 概念 空间 中 
选择 分 支 的 启发 式 信息 。 而 是 ， 它 们 通过 要 求学 到 的 概念 用 限制 的 表示 语言 来 表示 的 方法 来 限 
制 空 间 的 大 小 。 例 如 ， 决 策 树 是 比 完全 谓词 演算 有 更 多 限制 的 语言 。 相 应 的 概念 空间 的 缩减 对 
ID3 的 效率 至 关 重 要 。 

语法 偏 置 的 一 个 例子 限制 概念 描述 为 集合 {0,1,#| 中 符号 的 模式 ， 被 证 实 对 位 串 分 类 非常 
有 效 。 一 个 模式 定义 了 所 有 匹配 串 的 类 ， 匹 配 由 以 下 规则 而 定 ; 

如 果 模 式 在 某 个 位 置 是 "0”, 则 目标 囊 的 相应 位 置 必须 是 “0”。 

如 果 模 式 在 茶 个 位 置 是 "1”, 则 目标 串 的 相应 位 置 必 须 是 “1”。 

给 定位 置 上 的 “ 护 可 以 匹配 "1”" 或 者 “0”。 
例如 ,模式 “1##0” 定 义 串 集合 {1110, 1100, 1010, 1000} 。 

只 考虑 可 以 表示 为 单个 这 样 模式 的 类 ， 可 以 很 大 程度 上 缩减 概念 空间 的 大 小 。 对 长 为 n 的 
串 ， 我 们 可 以 定义 3" 个 不 同 的 模式 。 这 上 比 没有 限制 的 空间 中 2 的 2" 个 可 能 概念 要 小 得 多 了 。 这 
个 偏 置 还 允许 很 简单 的 变形 空间 搜索 的 实现 ， 泛 化 只 是 把 候选 模式 中 的 1 或 者 0 替换 为 #。 但 是 ， 
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我 们 采用 这 种 偏 置 招致 的 代价 是 不 能 表示 (也 就 不 能 学 习 ) 某 些 概念 。 例 如 ， 这 种 类 型 的 一 个 
模式 不 能 表示 偶数 奇偶 性 的 所 有 串 的 类 。 

这 个 有 效 性 和 表达 能 力 之 间 的 权衡 是 很 典型 的 。 例 如 ，LEX 在 它 的 符号 分 类 法 中 不 能 区 分 
奇数 和 偶数 。 于 是 ， 它 不 能 学 习 依 赖 于 这 种 区 分 的 任何 启发 式 信息 。 虽 然 做 了 一 些 在 程序 中 改变 
偏 置 来 响应 数据 的 工作 (Utgoff 1986) ， 大 多 数 的 学 习 器 仍然 假定 固定 的 归纳 偏 置 。 

机 器 学 习 已 经 探索 出 大 量 表象 上 的 偏 置 ; 

合 取 偏 置 ”限制 学 到 的 知识 表示 为 合 取 范式 的 形式 。 因 为 析 取 范式 在 概念 表示 中 的 运用 引 
起 泛 化 的 问题 ， 合 取 偏 置 尤为 常用 。 例 如 ,假定 在 候选 解 排除 算法 中 我 们 允许 武断 地 运用 析 取 范 
式 来 表示 概念 。 因 为 一 个 正 例 集 的 最 特殊 泛 化 只 是 所 有 实例 的 析 取 ， 学 习 器 就 不 能 进行 泛 化 。 它 
会 增加 析 取 词 趋 向 无 限 (ad infinitum) ， 实 现 一 种 死记 式 学 习 的 形式 (Mitchell 1980) 。 

限制 析 取 的 数量 ”纯粹 的 合 取 偏 置 对 于 很 多 应 用 来 说 有 太 多 的 限制 。 解 决 析 取 范 式 的 问题 
并 能 增加 表示 语言 的 表达 能 力 的 一 种 方法 是 允许 小 的 数量 有 限 的 析 取 。 

特征 向 量 是 把 对 象 描述 为 特征 集合 的 一 种 表示 ， 对 象 之 间 特 征 值 不 同 。 表 10-1 中 的 对 象 
是 作为 特征 集 表示 出 来 的 。 

决策 树 ”是 ID3 中 已 经 被 证 实 有 效 的 一 种 概念 表示 。 

Horn 子 句 ”需要 对 蕴涵 式 的 形式 加 以 限制 ， 在 自动 推理 和 从 实例 中 学 习 规 则 的 大 量程 序 中 
都 用 到 了 蕴涵 式 。 在 14. 2 节 详 细 介 绍 Horn 子 句 。 

除了 本 节 中 讨论 的 语法 偏 置 ， 很 多 程序 运用 特定 领域 知识 来 考虑 域 中 已 知 或 者 假定 的 语义 。 
这 些 知识 可 以 提供 极为 有 效 的 偏 置 。10.5 节 讨 论 基 于 知识 的 方法 。 但 是 ， 在 考虑 知识 在 学 习 中 
的 作用 之 前 ， 简 单 地 讨论 一 下 量化 归纳 偏 置 的 理论 结果 。 在 16. 2 节 中 还 会 给 出 学 习 系 统 中 归纳 
偏 置 的 总 结 。 


10.4.2 可 学 习性 理论 


归纳 偏 置 的 目标 是 用 这 样 一 种 方式 来 限制 目标 概念 集 : 我 们 既 可 以 有 效 地 搜索 集合 ， 还 可 
以 找到 高 质量 的 概念 定义 。 理 论 工作 的 一 个 有 趣 的 部 分 是 解决 量化 归纳 偏 置 的 有 效 性 问题 。 

我 们 定义 概念 的 质量 为 它们 能 对 不 包含 在 训练 实例 集合 中 的 物体 正确 分 类 的 能 力 。 写 一 个 
能 对 已 看 到 的 所 有 实例 正确 分 类 的 算法 并 不 难 ; 死记 式 学 习 就 满足 这 一 点 。 但 是 ， 由 于 在 大 多 数 
问题 领域 中 ， 有 庞大 数量 的 实例 ， 或 者 某 些 实例 不 能 用 ， 算 法 只 能 研究 一 部 分 可 能 的 实例 。 于 
是 ， 学 到 的 概念 对 新 实例 的 性 能 就 非常 重要 。 在 测试 学 习 算 法 时 ， 通 常 把 所 有 实例 的 集合 划分 为 
训练 实例 集 和 测试 实例 集 这 两 个 不 相交 的 子 集 。 在 用 训练 集训 练 完 程序 之 后 ， 我 们 用 测试 集 来 
对 程序 进行 测试 。 

把 效率 和 正确 性 看 成 是 概念 表示 语言 的 属性 是 很 有 用 的 ， 也 就 是 归纳 偏 置 而 不 是 特定 的 学 
习 算 法 的 属性 。 学 习 算 法 搜索 概念 空间 ; 如 果 这 个 空间 可 管理 ， 并 且 包 含 性 能 很 好 的 概念 ， 则 任 
何 合理 的 学 习 算 法 都 应 该 能 找到 这 些 定义 ; 如 果 空 间 非 常 复杂 ， 算 法 的 成 功 完成 就 会 受到 限制 。 
一 个 极端 的 例子 会 阐明 这 一 点 。 

给 定 描述 对 象 属性 的 合适 的 语言 ,“ 球 ”(ball) 这 个 概念 就 是 可 学 习 的 。 在 看 到 数量 较 少 的 
球 之 后 ， 人 就 能 准确 地 定义 它们 : 球 是 圆 的 。 与 一 个 不 可 学 习 的 概念 对 比 一 下 : 假设 有 一 队 人 围 着 
行星 跑 ， 随 机 地 选取 几 百 万 个 对 象 的 集合 ， 我 们 称 结果 类 为 bunch_of_stuff。 不 但 从 bunch_of_ 
stuff 的 样本 归纳 出 的 概念 需要 极为 复杂 的 表示 ， 而 且 这 个 概念 对 这 个 集合 的 未 来 成 员 也 不 见得 
能 正确 分 类 。 

这 些 现 象 没有 对 用 到 的 学 习 算 法 做 任何 假定 ， 它 们 只 是 在 空间 中 寻找 与 数据 相 一 致 的 概念 。 
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ball 是 可 学 习 的 ， 因 为 我 们 可 以 用 几 个 特征 来 定义 它 ， 这 个 概念 可 以 用 偏 置 语言 表示 出 来 。 要 描 
述 bunch_of_stuff 这 一 概念 需要 确定 类 中 所 有 对 象 的 所 有 属性 的 概念 定义 。 

于 是 ,我 们 不 是 用 特定 的 算法 来 定义 可 学 习性 ， 而 是 用 表示 概念 的 语言 来 定义 它 。 还 有 ， 为 
了 完成 泛 化 ， 我 们 不 把 可 学 习性 定义 在 特定 问题 域 上 ， 如 学 习 bunch_of_stuff。 我 们 用 概念 定义 
语言 的 语法 属性 来 定义 它 。 

在 定义 可 学 习性 时 ， 我 们 不 能 只 考虑 效率 ; 必须 还 要 处 理 有 限 数据 的 问题 。 总 的 来 说 ， 我 们 
不 能 指望 从 随机 的 实例 样本 中 找到 完全 正确 的 概念 。 就 像 统 计 估计 集合 的 平均 数 一 样 ， 我 们 试 
图 找到 一 个 近似 正确 的 概念 。 所 以 ， 概 念 的 准确 性 是 能 正确 分 类 的 实例 对 所 有 样本 实例 个 数 的 
概率 。 

除了 学 到 的 概念 的 准确 性 之 外 ， 我 们 还 必须 考虑 算法 找到 这 样 概念 的 可 能 性 。 这 就 是 说 ， 有 
很 小 的 可 能 性 看 到 的 样本 是 非典 型 的 以 至 于 无 法 对 它 学 习 。 于 是 ， 正 例 的 特定 分 布 或 者 从 这 些 
实例 中 选 出 的 特定 的 训练 集 ， 不 一 定 够 挑选 出 高 质量 的 概念 。 于 是 考虑 两 个 概率 : 样本 不 是 非典 
型 的 概率 和 算法 找到 符合 要 求 的 概念 的 概率 ， 符 合 要 求 指 有 正常 的 估计 误差 。 在 下 面 给 出 的 PAC 
可 学 习性 的 定义 中 ， 这 两 个 概率 分 别 由 5 和 s 限定 。 

小 结 一 下 ， 可 学 习性 是 概念 空间 的 一 个 属性 ， 它 由 要 表示 概念 的 语言 来 决定 。 在 评价 这 些 空 
间 时 ， 我 们 必须 既 要 考虑 数据 恰巧 用 尽 的 概率 ， 又 要 考虑 结论 概念 能 对 未 来 实例 正确 分 类 的 概 
率 。Valiant (1984) 对 这 些 进行 了 形式 化 ， 用 的 是 “可 能 近似 正确 的 ”(PAC) 学 习 理 论 。 

如 果 存 在 一 个 算法 它 能 有 效 地 执行 ， 并 很 有 可 能 找到 近似 正确 的 概念 ， 则 这 一 类 概念 是 PAC 
可 学 习 的 。 近 似 正确 意味 着 概念 能 正确 分 类 大 部 分 的 新 实例 。 这 样 ， 我 们 需要 算法 以 较 大 的 可 能 性 
找到 几乎 正确 的 概念 ， 还 需要 算法 自身 很 有 效率 。 这 个 概念 令 人 感 兴趣 的 一 个 方面 是 它 不 必 依 赖 于 
实例 空间 中 正 例 的 分 布 。 它 依赖 于 概念 语言 的 本 质 ， 即 偏 置 和 正确 度 的 期 望 。 最 后 ,通过 做 有 关 实 
例 分 布 的 假设 ,通常 可 能 会 得 到 更 好 的 性 能 ， 也 就 是 说 ， 对 理论 上 需要 的 要 少 的 样本 进行 操作 。 

形式 上 ，Valiant 定义 PAC 可 学 习性 如 下 。 令 C 为 概念 c 的 集合 ，X 为 实例 集 。 这 个 概念 可 
以 是 算法 、 模 式 或 划分 X 为 正 例 和 反例 的 某 些 其 他 手段 。 如 果 有 以 下 属性 的 算法 存在 ， 则 C 是 
PAC 可 学 习 的 : | 

1) 如 果 对 于 概念 错误 的 概率 s 和 失败 的 概率 5， 存 在 一 个 算法 ， 对 给 定 一 个 大 小 n= |X| 的 
实例 的 随机 样本 ， 在 多 项 式 时 间 1/s 和 1/5 之 内 ， 算 法 产生 一 个 概念 c (C 的 一 个 元 素 ) ， 使 得 c 
的 泛 化 误差 大 于 s 的 概率 小 于 8。 也 就 是 说 ，X 中 的 样本 服从 同一 分 布 ，y 服从 : 


P[ P[y 被 c 错误 分 类 ] 二 8] <6 


2) 算法 的 执行 时 间 为 多 项 式 时 间 n，1/e 和 1/5 之 内 。 

使 用 PAC 可 学 习性 这 个 定义 ， 研 究 者 已 经 给 出 几 个 归纳 偏 置 是 可 以 处 理 的 。 例 如 ，Valiant 
(1984) 证 明了 k-CNF 表达 式 类 是 可 学 习 的 。k-CNF 表达 式 是 合 取 范 式 形式 的 子 句 ， 它 对 析 取 词 
数量 有 限制 ， 表 达 式 形 如 c, Acs 人 A…A 人 cu， 每 个 c 是 不 超过 K 个 文字 的 析 取 式 。 这 个 理论 结果 支 
持 在 很 多 学 习 算法 中 用 到 的 概念 为 合 取 形式 的 限制 。 在 这 里 我 们 不 再 证 明 ， 读 者 可 以 参阅 Val- 
iant 的 论文 ， 他 证 明了 这 个 结论 还 有 其 他 偏 置 的 可 学 习性 。 可 学 习性 和 归纳 偏 置 的 更 多 的 结论 ， 
可 以 看 Haussler (1988) 和 Martin (1997)。 


10.5 知识 和 学 习 


ID3 和 候选 解 排 除 算法 基于 训练 数据 中 的 规律 来 汉化 。 这 样 的 算法 常 被 称 为 基于 相似 性 ， 因 
为 泛 化 主要 是 训练 实例 相似 性 的 函数 。 这 些 算法 用 到 的 偏 置 仅 限于 在 学 到 的 知识 上 的 语法 限制 ; 
它们 对 域 的 语义 没有 做 任何 大 的 假定 。 在 本 节 中 ， 讨论 用 先 验 领域 知识 来 指导 泛 化 的 算法 ， 如 基 
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于 解释 的 学 习 。 

最 初 ， 认 为 先 验 知识 对 学 习 很 必要 的 观点 似乎 有 些 自 相 矛盾 。 但 是 ， 机 器 学 习 和 认 知 科学 研 
究 者 都 找到 了 符合 上 述 观点 的 例子 ， 他 们 指出 当 学 习 器 有 相当 的 领域 知识 时 学 习 最 有 效 。_- 种 
反 改 学 习 中 知识 重要 性 的 观点 认为 基于 相似 性 的 学 习 依赖 于 大 量 的 训练 数据 。 相 反 ， 人 可 以 从 
少 到 一 个 的 训练 实例 中 得 出 可 信赖 的 泛 化 ， 很 多 实际 应 用 要 求学 习 器 也 做 到 这 一 点 。 

男 外 一 种 反 驶 先 验 知识 重要 性 的 观点 认为 任意 训练 实例 集 都 可 以 支持 无 限 数目 的 泛 化 ， 它 
们 中 大 多 数 是 不 相关 的 或 者 是 无 意义 的 。 归 纳 偏 置 是 区 分 它们 的 一 个 手段 。 在 本 节 中 ， 我 们 讨论 
算法 ， 不 去 考虑 纯粹 的 语法 偏 置 ， 而 是 考虑 学 习 中 强 领域 知识 的 作用 。 


10.5.1 Meta-DENDRAL 


Meta-DENDRAL (Buchanan and Mitchell 1978) 是 在 归纳 学 习 中 运用 知识 的 最 早 而 且 目 前 仍 
然 是 最 好 的 例子 之 一 。Meta - DENDRAL 获取 规则 ，DENDRAL 程序 用 这 些 规则 来 分 析 大 量 的 光 
谱 数据 ， 从 化 学 公式 和 大 量 光 谱 数 据 中 推出 有 机 分 子 的 结构 。 

大 量 的 光谱 用 电子 来 族 击 分 子 ， 致 使 某 些 化 学 键 断 裂 。 化 学 家 测量 结果 碎片 的 重量 ， 用 化 合 
物 内 部 结构 的 变化 来 解释 这 些 结果 。DENDRAL 用 规则 知识 来 解释 大 量 光 谱 数据 。DENDRAL 规 
则 的 前 提 是 部 分 分 子 结构 的 图 。 规 则 的 结论 是 指出 断裂 位 置 的 图 。 

Meta-DENDRAL 基于 已 知 的 结构 从 分 子 的 光谱 结果 来 推 这 些 规则 。 我 们 给 定 Meta - DEN- 
DRAL 一 个 已 知 化 合 物 的 结构 和 光谱 产生 的 大 量 充 足 的 碎片 。 它 给 出 断裂 发 生 的 原因 来 进行 解 
释 。 这 些 特 定 分 子 中 断裂 的 解释 用 作 创建 通用 规则 的 实例 。 

在 确定 一 次 训练 中 的 断裂 位 置 时 ，DENDRAL 运用 有 机 化 学 中 的 “ 半 序 理论 ”。 这 个 理论 虽 
然 不 足以 支持 DENDRAL 规则 的 直接 创建 ， 但 它 确实 支持 已 知 分 子 断 裂 的 解释 。 半 序 理论 由 规 
则 、 限 制 和 如 下 的 启发 式 信息 组 成 : 

双 键 和 三 键 不 断裂 。 

只 有 大 于 两 个 碳 原 子 的 碎片 在 数据 中 出 现 。 

运用 半 序 理论 ，Meta-DENDRAL 建立 对 断裂 的 解释 。 这 些 解释 指出 断裂 的 可 能 位 置 和 断裂 处 
原子 可 能 的 迁移 。 

这 些 假设 成 为 一 个 规则 归纳 程序 的 正 例 集 。 这 个 程序 通过 从 一 般 到 特殊 的 搜索 ， 归 纳 出 
DENDRAL 规则 中 前 提 的 限制 。 它 的 初始 状态 是 对 一 个 断裂 的 总 的 一 般 描述 : X * X。。 这 个 模式 
意味 着 一 个 断裂 可 以 在 任何 两 个 原子 间 发 生 ， 断 裂 由 * 来 表示 。 它 的 特 化 模式 是 : 

增加 原子 :Xi * Xs 一 >Xs 一 X| * X。 

其 中 “ - ”操作 符 表示 一 个 化 学 键 , 或 者 

实例 化 原子 或 者 原子 的 属性 : XX, * Xs 一 C * X。 

Meta - DENDRAL 只 从 正 例 中 学 习 ， 对 概念 空间 采用 有 疏 山 法 搜索 。 通 过 限制 候选 规则 只 履 盖 
大 约 一 半 的 训练 实例 来 防止 超 泛 化 。 程 序 接 下 来 的 部 分 评价 并 精炼 这 些 规则 ， 寻 找 多 余 的 规则 
或 者 修改 可 能 过 于 一 般 或 特殊 的 规则 。 

Meta - DENDRAL 的 能 力 在 于 它 运用 领域 知识 来 把 原始 数据 变 成 更 可 用 的 形式 。 通 过 用 它 的 
理论 来 排除 无 关系 的 或 者 潜在 错误 的 数据 ， 它 能 用 相对 少 的 训练 实例 进行 学 习 ， 并 且 程 序 具 有 
抗 噪声 的 能 力 。 训 练 数 据 必须 被 充分 解释 成 完全 有 用 的 见解 是 基于 解释 的 学 习 的 基础 。 
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10. 5. 2 基于 解释 的 学 习 


基于 解释 的 学 习 用 明确 表示 的 领域 知识 来 建立 对 一 个 训练 实例 的 解释 ， 通 常 这 个 实例 逻辑 
上 服从 这 个 理论 的 证 明 。 通 过 泛 化 实例 的 解释 ， 而 不 是 泛 化 实例 自身 ， 基 于 解释 的 学 习 可 以 滤 除 
噪声 ， 选 取经 验 的 相关 方面 ， 并 把 训练 数据 组 织 成 系统 的 、 一 致 的 结构 。 

这 种 思想 有 很 多 种 形式 。 例 如 ， 表 示 规 划 的 通用 操作 符 的 STRIPS 程序 〈 见 8.4 节 ) 已 经 对 
这 方面 的 研究 产生 了 重大 影响 (Fikes et al. 1972) 。 在 10. 5. 1 节 中 我 们 可 以 看 到 Meta ~ DEN- 
DRAL 显示 了 基于 理论 对 训练 实例 解释 的 威力 。 最 近 ， 大 量 的 学 者 (DeJong and Mooney 1986， 
Minton 1988) 提出 了 这 种 思想 的 其 他 形式 。Mitehell et al、(1986) 的 基于 解释 的 泛 化 算法 也 是 这 
种 流派 的 典型 。 在 本 节 中 ， 讨 论 由 DeJong 与 Mooney (1986) 提出 来 的 基于 解释 的 学 习 (EBL) 
算法 的 一 个 变种 。 

EBL 的 初始 状态 : 

1) 一 个 目标 概念 。 学 习 器 的 任务 是 确定 这 个 概念 的 有 效 定义 。 依 赖 于 特定 的 应 用 ， 目 标 概 
念 可 以 是 一 个 分 类 ， 要 证 明 的 一 个 定理 ， 达 到 目标 的 一 个 计划 ， 或 者 是 一 个 问题 求解 器 的 启发 式 
信息 。 

2) 一 个 训练 实例 ， 目 标 target) 的 一 个 实例 。 

3) 领域 理论 知识 ， 用 于 解释 训练 实例 怎么 成 为 目标 概念 的 一 个 实例 的 规则 和 事实 集合 。 

4) 操作 标准 ， 概 念 定义 可 以 采取 的 形式 的 某 种 方式 的 描述 。 

为 了 解释 EBL， 我 们 给 出 学 习 什 么 时 候 物体 是 一 个 杯子 的 例子 。 这 是 Winston et al. (1983) 
讨论 的 一 个 问题 的 变种 ，Mitchell et al、(1986) 将 它 改编 用 于 基于 解释 的 学 习 。 目 标 概念 是 可 以 
用 来 推断 一 个 物体 是 否 是 杯子 的 一 条 规则 : 


premise( X) 一 CuUP(X) 


其 中 premise 是 包含 变量 X 的 合 取 表 达 式 。 
假设 有 关 杯 子 的 领域 理论 知识 包含 以 下 规则 : 


liftable(X) ^ hoids_liquid(X) 一 cup(X) 

part(Z, W) ^ concave(W) ^ points_up(W) 一 holds_liquid(Z) 
light(Y) ^ part(Y handle) 一 liftable(Y) 

small(A) — light(A) 

made_of(A, feathers) — light(A) 


训练 实例 是 目标 概念 的 一 个 实例 ， 即 我 们 有 : 


cup(obj1) 
small(obj1) 
part(obi1, handle) 
owns(bob, obj1) 
part(obj1, bottom) 
part(obj1, bowl) 
points_up(bowl) 
concave(bow!) 
color(obj1, red) 


最 后 ， 假 设 操作 性 标准 需要 目标 概念 用 物体 的 可 以 观察 的 结构 化 的 属性 (如 part 和 points- 
up) 来 定义 。 可 以 提供 能 够 让 学 习 器 推断 一 个 描述 是 否 可 操作 的 领域 规则 ， 或 者 简单 地 列 出 可 
操作 的 谓词 。 

利用 这 个 理论 ， 定 理 证 明 程序 可 以 建立 为 什么 一 个 实例 真是 训练 概念 的 一 个 实例 的 解释 : 
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目标 概念 逻辑 上 是 从 实例 中 得 出 的 证 明 ， 如 图 10-17 中 的 第 一 棵 树 。 需要 注意 的 是 ， 这 个 解释 从 
训练 数据 中 排除 诸如 color( obj1, red) 这 样 的 不 相关 概念 ， 并 捕获 已 知 与 目标 相关 的 实例 的 那些 
方面 。 


Proof that obj1 is a cup 


cup(obj1T) 


lftable(obj1) holds liquid(obj1) 


light(obj1) part(obj1, handie) part(obj1, bowl) concave(bowl) points_up(bowl) 


small(obj1) 
Generallzed proof that X is a cup 
cup(X) 
liftabie(X) holds liquid(X) 
light(X) part(X, handle) part(X, W) concave(W) points_up(W) 
small(X) 


图 10-17 物体 X 是 一 个 杯子 的 特 化 和 泛 化 证 明 


基于 解释 的 学 习 的 下 一 个 阶段 泛 化 解释 来 产生 可 以 用 于 辨识 其 他 杯子 的 一 个 概念 定义 。EBL 
通过 用 变量 替换 证 明 树 中 的 一 些 常量 来 完成 上 面 这 一 动作 ， 这 些 常量 只 依赖 于 特定 的 训练 实例 ， 
如 图 10-17 所 示 。 基 于 泛 化 后 的 树 ，EBL 定义 一 条 新 的 规则 ， 规 则 的 结论 是 树 的 根 ， 前 提 是 叶 结 
点 的 合 取 ， 

small(X) 和 part(X, handle) ^ part(X, W) ^ concave(W) ^ points_up(W) — cup(X) 


在 建造 泛 化 的 证 明 树 时 ， 目 标 是 用 变量 替换 那些 是 训练 实例 的 一 部 分 的 常量 ， 而 保留 是 领 
域 理 论 知识 的 一 部 分 的 那些 常量 和 限制 。 在 这 个 例子 中 ， 常 量 handle 是 领域 知识 的 一 部 分 ， 不 
在 训练 实例 中 。 我 们 保留 它 作为 获取 的 规则 中 的 一 个 重要 限制 。 

用 一 个 训练 实例 作为 向 导 ， 我们 可 以 用 很 多 种 方式 来 建造 一 棵 泛 化 的 证 明 树 。Mitchell et al. 
(1986) 完成 的 过 程 是 首先 建立 一 棵 特定 于 训练 实例 的 证 明 树 ， 接 下 来 通过 称 为 目标 回归 的 过 程 
来 泛 化 这 棵 证 明 树 。 目 标 回归 用 证 明 树 的 根来 匹配 泛 化 的 目标 (在 我 们 的 例子 中 是 cup(X) ) ， 
用 匹配 所 需 的 变量 来 替换 常量 。 算 法 递归 地 对 树 运用 这 种 替换 ， 直 到 所 有 适当 的 常量 都 已 经 被 
泛 化 。 这 个 过 程 的 详细 描述 参见 Mitchell et al (1986 ) 。 

DeJong and Mooney (1986) 提出 了 另外 一 种 办 法 ， 实 质 是 并 行 地 建造 汉化 树 和 特 化 树 。 这 是 
通过 维护 一 棵 证 明 树 的 变种 来 实现 的 ， 这 棵 树 由 用 于 证 明 目 标 的 规则 组 成 ， 这 不 同 于 实际 证 明 
中 的 变量 替换 。 这 被 称 为 解释 结构 ， 如 图 10-18 所 示 ， 它 表示 证 明 的 抽象 结构 。 学 习 器 对 解释 结 
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构 维 护 两 个 不 同 的 替换 列表 : 用 来 解释 训练 实例 的 特 化 替换 列表 和 用 来 解释 泛 化 目标 的 泛 化 蔡 
换 的 列表 。 在 建造 解释 结构 的 同时 ， 建 造 这 些 替 换 列 表 。 


cup(obj1) 
cup(X) 
liftable(X) holds_liquid(X) 
litakle(Y) holds_liquid(Z) 
light(Y) part(Y, handle) part(z, W) concave(W) points_up(W) 


light(A) part(obj1, handle) part(Z, W) concave(bowl) points_up(bowl) 


small(A) 


small(obj1) 
图 10-18 杯子 例子 的 解释 结构 


我 们 以 如 下 的 方式 建造 泛 化 和 特 化 蔡 换 的 列表 : 令 s。 和 se 分 别 为 特 化 和 泛 化 替换 列表 。 在 
解释 结构 中 对 表达 式 e; 和 es 之 间 的 每 个 替换 ， 根 据 以 下 规则 更 新 ss 和 s。: 


fei is in the premise of a domain rule and ez is the conclusion of a domain rule 


then begin 
Ts =the most general unifier of e1ss and e,s, % unify e, and e, under s。 
S。 =ST, % update s, by composing it with Ts 
Te = the most general unifier of ess and ezss % unify e1 and ez under so 
Sg = SoTg % update so by composing it with Te 
end 


if el is in the premise of a domain rule and ez is a fact in the training instance 


then begin % only update s。 
T =the most general unifier of els。 and ezs。 % unify el and ez under s。 
S。 = SsT。 % update ss by composing it with T。 

end 


在 图 10-18 的 例子 中 : 
s, = {obj1/X, obj1/Y obj1/A, obj1/Z, bowlW} 
so = {X/Y, X/A, XIZ) 


对 图 10-18 中 的 解释 结构 运用 这 些 蔡 换 ， 得 到 图 10-17 所 示 的 特 化 和 泛 化 证 明 树 。 

基于 解释 的 学 习 有 以 下 优点 : 

1) 训练 实例 经 常 含有 不 相关 的 信息 ， 如 前 面 例子 中 的 杯子 的 颜色 。 领 域 理论 允许 学 习 器 选 
择 训练 实例 中 相关 的 方面 。 

2) 一 个 给 定 的 实例 可 以 允许 大 量 可 能 的 泛 化 ， 它 们 中 大 部 分 是 无 用 的 、 无 意义 的 或 者 错误 
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的 。EBL 形成 的 泛 化 与 特定 的 目标 相关 ， 并 保证 与 领域 理论 相 一 致 。 

3) 通过 运用 领域 知识 ，EBL 允许 从 单个 训练 实例 中 学 习 。 

4) 解释 的 建立 允许 学 习 器 对 它 的 目标 和 经 验 之 间 未 指出 的 关系 做 假设 ， 如 基于 杯子 的 结构 
属性 来 演绎 杯子 的 定义 。 

EBL 已 经 应 用 于 大 量 的 学 习 问题 中 。 例 如 ，Mitchell et al (1983) 讨论 了 对 LEX 算法 附加 
EBL。 假 设 运用 操作 1 的 第 一 个 正 例 是 解 实例 17x*dx。LEX 会 把 这 个 实例 放 人 最 特殊 泛 化 集 S 
中 。 但 是 ， 人 会 立即 发 现 解 这 个 实例 时 用 到 的 技术 不 依赖 于 系数 和 指数 的 特定 的 值 ， 而 是 只 要 指 
数值 不 等 于 -1， 任 何 实数 值 都 可 以 。 学 习 器 被 证 实 操作 1 可 以 用 于 形 如 Jrix ”dx 的 任何 实 
例 ， 其 中 r, 和 Tr 是 任意 实数 。LEX 被 扩展 成 用 通过 基于 解释 的 学 习 以 运用 代数 知识 来 进行 这 种 
类 型 的 泛 化 。 最 后 ， 在 本 书 的 补充 材料 中 用 Prolog 实现 了 一 个 基于 解释 的 学 习 算法 。 


10. 5. 3 ”EBL 和 知识 层 学 习 


虽然 EBL 很 好 地 说 明了 知识 在 学 习 中 的 作用 ， 但 它 还 引出 了 很 多 重要 的 问题 。 其 中 比较 明 
显 的 一 个 问题 是 基于 解释 的 学 习 器 真正 学 到 了 什么 。 纯 粹 的 EBL 只 能 从 已 有 理论 的 演绎 闭 包 中 
学 习 规 则 。 这 意味 着 学 到 的 知识 可 以 不 用 训练 实例 ， 而 从 知识 库 中 推出 来 。 训 练 实例 的 惟一 作用 
是 使 定理 证 明 程序 着 眼 于 与 问题 领域 相关 的 方面 。 所 以 ，EBL 常 被 看 成 是 加 速 学 习 的 一 个 形式 或 
者 知识 库 的 再 形成 ; EBL 可 以 让 学 习 器 执行 得 更 快 ， 因 为 它 不 必 对 新 规则 重新 建立 证 明 树 。 但 
是 ， 因 为 它 可 能 总 是 重新 建立 证 明 树 ，EBL 不 能 使 学 习 器 做 任何 新 的 东西 。Dietterich (1986) 在 
对 知识 层 学 习 的 讨论 中 对 这 种 差别 进行 了 形式 化 。 

EBL 能 够 使 规则 集中 不 明确 的 信息 更 加 清楚 。 例 如 ， 棋 类 比赛 : 当 附加 上 无 限制 的 向 前 预测 
棋局 状态 的 能 力 时 ， 棋 的 规则 的 最 小 知识 可 以 让 计算 机 下 得 非常 好 。 不 幸 的 是 ， 对 于 这 种 方法 ， 
棋 太 复杂 了 。 为 了 实用 的 目的 ， 可 以 掌握 下 棋 策略 的 基于 解释 的 学 习 器 需要 能 真正 学 到 新 的 
知识 。 

EBL 还 允许 我 们 抛弃 学 习 器 要 有 完全 和 正确 的 领域 理论 的 要 求 ， 而 着 眼 于 在 EBL 的 内 容 之 
内 精炼 不 完全 的 理论 。 这 里 ， 学 习 器 建造 一 棵 部 分 解 树 。 不 能 完成 的 证 明 的 分 支 指明 了 理论 的 不 
足 。 在 这 方面 还 有 很 多 有 趣 的 问题 有 待 于 研究 。 它 们 包括 探索 对 有 缺点 的 理论 推理 的 启发 式 信 
息 ， 信 用 分 配方 法 论 ， 以 及 从 几 个 失败 的 证 明 中 挑选 哪个 来 修复 的 问题 。 

基于 解释 的 学 习 的 一 个 更 进一步 的 应 用 是 把 它 与 基于 相似 性 的 学 习 的 方法 结合 起 来 。 同 样 ， 
有 大 量 基 本 模式 来 运用 它们 ， 如 用 EBL 在 理论 作用 的 地 方 精炼 数据 ， 然 后 把 这 些 部 分 泛 化 的 数 
据 传递 给 基于 相似 性 的 学 习 器 来 做 进一步 的 泛 化 。 作 为 选择 ， 我 们 可 以 用 失败 的 解释 作为 寻找 
理论 缺点 的 手段 ， 从 而 引导 数据 搜集 到 基于 相似 性 的 学 习 器 的 数据 收集 。 

EBL 研究 中 的 其 他 问题 包括 用 不 可 靠 理论 推理 的 技术 ， 定 理 证 明 的 方法 作为 建立 解释 的 于 
段 ， 处 理 噪声 或 者 丢失 的 训练 数据 的 方法 ， 以 及 确定 保存 哪个 泛 化 规则 的 方法 。 


10. 5.4 类比 推理 


鉴于 “纯粹 的 ”EBL 仅 限于 演绎 学 习 ， 类 比 提供 了 更 为 灵活 的 运用 已 有 知识 的 方式 。 类 比 
推理 假定 如 果 两 种 情况 在 某 些 方面 相似 ， 很 可 能 它们 在 其 他 方面 也 相似 。 例 如 ， 如 果 两 个 房子 有 
相似 的 位 置 、 建 筑 和 环境 ， 则 它们 很 可 能 有 相同 的 售 价 。 与 EBL 中 用 到 的 证 明 不 同 ， 类 比 逻 蜀 
上 并 不 可 靠 。 从 这 个 意义 上 说 它 与 归纳 相似 。 如 Russell (1989) 和 其 他 人 所 观察 到 的 ， 类 比 是 
一 种 单 实例 归纳 :在 房子 的 例子 中 ， 我 们 从 一 个 已 知 房子 的 属性 来 归纳 另 一 个 房子 的 属性 。 

像 讨论 过 的 基于 案例 推理 ( 见 7.3 节 ) 一 样 ， 类比 对 把 已 知 知识 运用 于 新 的 情况 非常 有 用 。 
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例如 ， 假 设 一 个 学 生 试 图 学 习 有 关 电 的 行为 ， 并 假定 教师 告诉 她 电 类 似 于 水 ， 电 压 对 应 于 水 压 ， 
安培 数 对 应 于 水 流量 ,电阻 对 应 于 管道 的 容量 。 运 用 类 比 推理 ， 学 生 可 以 很 容易 地 掌握 如 欧姆 定 
律 这 样 的 概念 。 

类 比 的 标准 计算 模型 定义 类 比 的 源 (source) 为 问题 的 解 、 实 例 或 者 易于 理解 的 理论 。 目 标 
(target) 是 还 没有 完全 理解 的 理论 。 类 比 在 源 和 目的 相应 元 素 之 间 建 立 一 个 映射 。 类 比 推理 把 这 
个 映射 扩展 到 目标 领域 中 新 的 元 素 。 继 续 讨 论 “ 电 与 水 类 似 ” 的 类 比 ， 如 果 我 们 知道 这 些 类 比 
映射 电 阅 对 应 于 阀门 ， 安 培 数 对 应 于 水 流量 ， 和 电压 对 应 于 水 压 ， 可 以 合理 地 推断 还 应 该 有 对 
于 水 管 容量 〈 即 水 管 的 横断 面积 ) 的 类 比 ; 这 就 导致 了 我 们 对 于 电阻 的 理解 。 

已 经 有 很 多 学 者 提出 了 类 比 推理 计算 模型 的 统一 框架 (Hall 1989，Kedar - Cabelli 1988 ， 
Wolstencroft 1989 ) 。 一 个 典型 的 框架 由 下 述 阶 段 组 成 : 

1) 检索 。 给 定 一 个 目标 问题 ， 选 择 一 个 可 能 的 源 类 比 是 很 必要 的 。 类 比 检索 中 的 问题 包括 
选取 目标 和 源 的 某 些 特征 ， 这 些 特征 能 增加 检索 有 用 的 源 类 比 和 进行 索引 的 可 能 性 。 总 的 来 说 ， 
检索 建立 类 比 映射 的 初始 元 素 。 

2) 细 化 。 一 旦 检索 出 源 之 后 ， 通 常 有 必要 获取 源 的 额外 的 特征 和 关系 。 例 如 ， 可 能 很 有 必 
要 在 源 领域 中 得 出 一 个 特定 的 问题 求解 路 径 (或 解释 ) 来 作为 对 目标 类 比 的 基础 。 

3) 映射 和 推理 。 这 个 阶段 要 做 把 源 属性 映射 到 目标 领域 中 去 的 映射 。 这 涉及 已 知 的 相似 性 
利 类 比 推理 。 

4) 核准 。 这 里 我 们 确定 映射 是 否 真正 有 效 。 这 个 阶段 可 能 要 对 映射 进行 修改 。 

5) 学 习 。 在 这 个 阶段 ， 获 得 的 知识 用 一 种 对 以 后 有 用 的 形式 来 存储 。 

这 些 阶段 在 类 比 推理 的 很 多 计算 模型 中 已 经 被 发 展 和 改进 。 例 如 ， 结 构 映 射 理论 (Falken- 
hainer 1990 ，Falkenhainer et al. 1989 ，Gentner 1983 ) 不 仅 解 决 了 建立 有 用 类 比 的 问题 ， 还 给 出 了 
人 怎么 理解 类 比 的 一 种 似 真 的 模型 。 运 用 类 比 时 的 一 个 中 心 问题 是 我 们 怎么 区 别 有 表 现 力 的 、 
深层 的 类 比 和 比较 表面 化 的 类 比 。Gentner 认为 真正 的 类 比 应 该 着 重 于 域 中 的 系统 的 和 结构 化 的 
特征 而 不 是 较为 表面 化 的 类 比 。 例 如 ， 类 比 “ 原 子 像 太阳 系 ” 比 类 比 “ 向 有 日 葵 像 太阳 ”更 深层 
次 ， 因 为 前 者 抓 住 了 两 个 旋转 体 之 间 整 个 系统 的 因果 联系 ， 而 后 者 描述 浅显 的 类 比 ， 如 向 日 蓝 和 
太阳 都 是 圆 的 和 黄色 的 。 类 比 映射 的 这 个 属性 称 为 系统 性 。 

结构 映射 对 此 进行 了 形式 化 。 考 虑 原子 /太阳 系 类 比 的 例子 ， 如 图 10- 19 所 示 ，Centner 
(1983) 对 此 进行 了 说 明 。 源 领域 包括 谓词 : 

yellow(sun) 

blue(earth) 

hotter-than(sun, earth) 


causes(more-massive(sun, earth), attract(sun, earth)) 
causes(attract(sun, earth), revolves-around(earth, sun)) 


类 比 要 解释 的 目的 领域 包括 : 


more-massive(nucleus, electron) 
revolves-around(electron, nucleus) 


结构 映射 试图 把 源 中 的 因果 结构 迁移 到 目的 中 去 。 映 射 由 以 下 规则 限制 : 
1) 从 源 中 去 除 属性 。 因 为 类 比 更 强调 系统 联系 ， 第 一 个 阶段 就 是 排除 源 中 描述 表面 属性 的 
谓词 。 结 构 映 射 通 过 排除 源 中 单一 参数 的 谓词 (一 元 谓词 ) 对 此 形式 化 。 这 里 的 基本 原理 是 高 
阶 谓词 ， 由 于 描述 两 个 或 多 个 实体 之 间 的 联系 ， 更 有 可 能 抓 住 类 比 需要 的 系统 联系 。 在 例子 中 ， 
它 排除 如 yellow( sun) 和 blue( earth) 的 断言 。 注 意 源 可 能 仍然 包含 与 类 比 不 相关 的 断言 ， 如 hot- 
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图 10-19 一 个 类 比 映射 


ter-than( sun, earth) 。 

2) 从 源 到 目的 的 关系 映射 不 变 ; 参数 到 关系 的 映射 可 能 不 同 。 在 例子 中 ， 如 revolves-a- 
round 和 more-massive 的 关系 在 源 和 目的 中 是 相同 的 。 这 条 限制 是 通过 很 多 类 比 的 理论 得 出 的 ， 
并 大 大 缩减 了 可 能 映射 的 数量 。 这 与 映射 中 关系 优先 的 启发 式 信息 相 一 致 。 

3) 在 建立 映射 时 ， 比 较 而 言 ， 高 阶 关系 是 映 射 的 焦点 。 在 例子 中 ，causes 是 一 个 高 阶 关 
系 ， 因 为 它 把 其 他 的 关系 作为 自己 的 参数 。 这 种 映射 偏 置 被 称 为 系统 性 原则 。 

由 这 些 限制 得 到 映射 : 


sun—>nucleus 
earth 一 electron 


扩展 映射 得 到 推理 : 


causes(more-massive(nucleus, electron), attract(nucleus, electron)) 
causes(attract(nucleus, electron), revolves-around(electron, nucleus)) 


结构 映射 理论 已 经 在 很 多 领域 中 实现 并 进行 了 测试 。 虽 然 它 还 远 不 是 完整 的 类 比 理论 ,不 
能 解决 诸如 源 类 比 检索 的 问题 ,但 它 已 经 被 证 实在 计算 复杂 性 方面 实用 可 行 ， 而且 能 够 解释 人 
类 类 比 推理 的 很 多 方面 。 最 后 ， 像 我 们 在 7. 3 节 中 基于 案例 推理 里 指出 的 那样 ， 类 比 在 创建 和 运 
用 一 个 有 用 的 案例 库 方面 起 着 重要 的 作用 。 


10.6 无 监督 学 习 


我 们 到 目前 为 止 讨论 的 学 习 算法 都 是 监督 学 习 的 实现 形式 。 它 们 假定 教师 〈 某 些 适 当 性 度 
量 ) 或 其 他 外 部 的 对 训练 实例 分 类 的 方法 的 存在 。 无 监督 学 习 没 有 教师 ， 它 需要 学 习 器 自己 形 
成 和 评价 概念 。 科 学 可 能 是 人 类 中 无 监督 学 习 的 最 好 的 例子 。 科 学 家 没有 教师 的 指点 。 他 们 提出 
假设 来 解释 现象 ; 用 诸如 简单 性 、 通 用 性 和 优美 性 的 标准 来 评价 假设 ; 并 通过 自己 设计 的 实验 来 
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测试 假设 。 
10. 6. 1 发 现 和 无 监督 学 习 


AM (Davis and Lenat 1982, Lenat and Brown 1984) 是 最 早 和 最 成 功 的 发 现 程序 之 一 ， 它 获取 
数学 中 许多 有 趣 (interesting) 的 概念 ， 即 使 不 是 最 初 的 概念 。AM 的 初始 状态 是 集合 论 的 概念 ， 
通过 修改 和 合并 已 有 概念 来 产生 新 知识 的 操作 ， 和 发 现 “ 有 趣 的 ”概念 的 启发 式 信息 集 合 。 通 
过 搜索 这 个 数学 概念 空间 ，AM 发 现 自然 数 和 几 个 重要 的 数论 的 概念 ， 如 质数 的 存在 性 。 

例如 ，AM 通过 修改 “元 包 ”(bag) 的 概念 来 发 现 自然 数 。 元 包 是 允许 同一 元 素 多 次 出 现 的 
集合 的 泛 化 。 例 如 ，{a, a, b, c, c} 是 一 个 元 包 。 通 过 特 化 元 包 的 定义 来 只 允许 元 素 的 单一 类 型 ， 
AM 发 现 自 然 数 的 一 个 类 比 。 例 如 ,元 包 {1,1, 1,1} 对 应 于 数字 4。 元 包 的 并 引出 加 的 概念 : {1， 
1} Ut{1,1} ={1,1,1,1} ,或 者 2+2 =4。 我 们 看 一 下 这 些 概 念 的 进一步 修改 ，AM 发 现 一 系列 的 
加 为 乘 。 运 用 通过 转化 已 有 的 运算 符 来 定义 新 运算 符 的 启发 式 信息 ，AM 发 现 整除 。 它 通过 指出 
茶 些 数 只 有 两 个 约 数 〈 自身 和 1) 来 建立 质数 的 概念 。 

当 产 生出 一 个 新 概念 时 ，AM 根据 一 些 启发 式 信息 来 对 它 进行 评价 ， 并 保持 证 实 为 “有 趣 ” 
的 概念 。 基 于 质数 出 现 的 频率 AM 确定 质数 是 有 趣 的 。 在 用 启发 式 信息 来 评价 概念 时 ，AM 产生 
概念 的 实例 ， 测 试 每 个 实例 来 看 这 个 概念 是 否 成 立 。 如 果 一 个 概念 对 所 有 的 实例 都 为 真 ， 它 是 同 
义 反 复 (tautology) ，AM 给 它 一 个 较 低 的 评价 。 类 似 地 ，AM 拒绝 对 所 有 实例 都 不 为 真 的 概念 。 
如 果 一 个 概念 对 相当 一 部 分 实例 为 真 ( 如 质数 的 情况 )，AM 评价 它 为 有 趣 的 ， 并 选 出 它 来 做 进 
一 步 的 修改 。 

虽然 AM 发 现 了 质数 和 几 个 其 他 有 趣 的 概念 ， 但 不 能 过 多 超越 基本 的 数论 来 执行 。 在 对 这 个 
工作 后 来 的 分 析 中 ，Lenat 与 Brown (1984) 研究 了 这 个 程序 的 成 功 之 处 和 它 的 局 限 。 虽 然 Lenat 
最 初 认 为 AM 的 启发 式 信息 是 它 的 威力 的 主要 源泉 ， 后 来 的 评价 把 程序 的 成 功 归 因 于 用 来 表示 数 
学 概念 的 语言 。AM 用 一 种 LISP 程序 设计 语言 的 变种 把 概念 表示 为 递归 式 的 结构 。 因 为 它 建立 
在 一 种 设计 良好 的 程序 设计 语言 的 基础 之 上 ， 这 个 表示 定义 了 含有 高 密度 的 有 趣 概念 的 空间 。 
这 在 搜索 的 开始 阶段 尤为 正确 。 当 探索 继续 ， 空 间 组 合式 地 增长 ， 有 趣 概念 的 百分比 则 变 小 。 这 
个 现象 进一步 强调 了 表示 与 搜索 的 关系 。 

AM 不 能 继续 像 早期 发 现 那 样 的 令 人 振奋 的 速度 的 另 一 个 原因 是 它 不 能 “学 会 学 习 ”。 在 得 
到 数学 知识 的 同时 ， 它 不 能 获取 新 的 启发 式 信息 ; 结果 ， 随 着 数学 知识 变 得 很 复杂 ， 搜 索 的 质量 
在 下 降 。 从 这 个 意义 上 ，AM 没有 建立 对 数学 的 深层 理解 。Lenat 在 他 后 来 的 工作 中 解决 了 这 个 
问题 ， 这 个 程序 称 为 EURISKO， 它 试图 学 习 新 的 启发 式 信息 (Lenat 1983 ) 。 

很 多 程序 继续 探索 自动 发 现 的 问题 。IL (Sims 1987) 运用 多 种 学 习 技 术 来 进行 数学 发 现 ， 
包括 定理 证 明和 基于 解释 的 学 习 〈 见 10.5 节 ) 的 方法 。 参 见 Cotton et al 〈2000) 中 的 整数 序列 
的 自动 创造 。 

BACON (Langley et al. 1987) 发 展 了 量化 科学 定律 的 形式 的 计算 模型 。 例 如 ， 用 与 行星 和 太 
阳 闻 的 距离 及 行星 的 旋转 周期 相关 的 数据 ，BACON“ 重 发 现 ” 行 星 运 动 的 开 普 勒 定律 。 通 过 提 
供 在 多 个 领域 中 人 们 怎么 进行 发 现 的 似 真 的 计算 模型 ，BACON 为 研究 人 类 科学 发 现 史 的 进程 提 
供 了 一 个 有 用 的 工具 和 方法 论 。SCAVENGER (Stubblefield 1995 ，Stubblefield and Luger，1996) 
用 ID3 算法 的 一 个 变种 来 改进 它 形成 类 比 的 能 力 。Shrager 与 Langley (1990) 描述 了 许多 其 他 的 
发 现 系统 。 

虽然 科学 发 现 是 一 个 重要 的 研究 领域 ， 到 目前 它 的 进展 很 小 。 在 无 监督 学 习 中 一 个 更 基本 
并 且 可 能 是 更 富有 成 果 的 问题 是 有 关 类 别 发 现 的 问题 。Lakoff (1987) 认为 分 类 是 人 类 认 知 的 基 
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本 问题 : 高 层次 的 理论 知识 取决 于 把 我 们 的 点 滴 经 验 组 织 成 一 致 的 分 类 的 能 力 。 我 们 大 多 数 有 
用 知识 是 有 关 物 体 分 类 的 ， 如 母 牛 ， 而 不 是 特定 的 单个 母 牛 ， 如 Blossom 或 Ferdinand。 Nordhaus- 
en 与 Langley 强调 分 类 的 形成 是 科学 发 现 的 统一 理论 的 基础 (Nordhausen and Langley 1990) 。 在 
得 出 为 什么 化 学 物品 以 它们 的 方式 反应 时 ， 化 学 基于 以 前 的 工作 对 化 合 物 进行 分 类 ， 如 “ 酸 ” 
和 “ 碱 ”。 

在 下 一 节 ， 讨 论 概 念 聚 类 ， 它 是 在 未 分 类 的 数据 中 发 现 有 用 分 类 的 问题 。 
10. 6.2 概念 聚 类 


聚 类 问题 的 初始 状态 是 一 组 未 分 类 的 物体 和 度量 物体 相似 性 的 一 种 方法 。 目 标 是 把 物体 分 
成 符合 某 些 质量 标准 的 类 别 ， 如 在 同一 类 中 物体 的 相似 性 最 大 。 

数字 分 类 法 是 聚 类 问题 最 老 的 办 法 之 一 。 数 字 分 类 法 依赖 于 物体 的 表示 作为 一 组 特征 ， 其 
中 每 个 可 能 有 某 些 数值 。 一 个 合理 的 相似 性 度量 把 每 个 物体 (n 个 特征 值 的 一 个 向 量 ) 看 成 是 n 
维 空间 的 一 个 点 。 两 个 物体 的 相似 性 是 它们 在 这 个 空间 中 的 欧 几 里 德 距离 。 

用 这 个 相似 性 度量 ， 一 个 普通 的 聚 类 算法 以 自 底 向 上 的 方式 建立 聚 类 。 这 个 方法 通常 称 为 
凝聚 的 聚 类 策略 ， 它 形成 育 类 是 通过 : 

1) 研究 所 有 的 物体 对 ， 选 择 有 最 高 相似 度 的 那 对 ， 并 把 这 对 作为 一 个 聚 类 。 

2) 定义 雍 类 的 特征 为 它 的 成 员 的 某 些 函 数 ， 如 平均 ， 然 后 用 这 个 育 类 定义 来 蔡 换 这 个 聚 类 
中 的 物体 。 

3) 对 这 组 物体 重复 这 一 过 程 ， 直 到 所 有 的 物体 都 归 为 单一 的 聚 类 。 

4) 很 多 无 监督 学 习 算 法 可 以 看 成 是 进行 最 大 似 然 密度 估计 ， 即 寻找 数据 最 有 可 能 服从 的 分 
布 。 一 个 例子 是 自然 语言 程序 中 的 音素 集合 的 解释 ， 见 第 15 章 。 

这 个 算法 的 结果 是 一 棵 二 叉 树 ， 它 的 叶 结 点 是 实例 ， 内 部 结 点 是 大 小 逐步 增 大 的 聚 类 。 

我 们 可 以 扩展 这 个 算法 以 用 于 用 符号 集 表 示 的 物体 ， 而 不 是 数字 特征 。 惟 一 的 问题 是 度量 
用 符号 而 不 是 数字 定义 的 物体 之 间 的 相似 性 。 一 个 合理 的 方法 定义 两 个 物体 的 相似 性 为 它们 的 
共同 特征 的 比例 。 给 定 物体 : 

object1 = {small, red, rubber ball} 


object2 = {small, blue, rubber, ball} 
object3 = {large, black, wooden, balh} 


这 个 准则 计算 相似 值 为 : 

similarity(object1, object2) = 3/4 

similarity(object1, object3) = similarity(object2, object3) = /4 

但 是 ， 基 于 相似 性 的 聚 类 算法 没有 充分 地 捕获 聚 类 形成 时 起 根本 作用 的 语义 知识 。 例 如 ， 我 
们 对 天 体 中 的 星座 的 描述 既 基于 它们 在 天 空中 的 相近 性 又 结合 人 们 已 有 的 概念 ， 如 “北斗 七 
星 ”。 

在 定义 类 别 时 ,我们 不 能 给 所 有 的 属性 相同 的 权 值 。 在 任何 给 定 的 环境 中 ， 一 个 物体 的 某 个 
特性 要 比 其 他 特征 都 重要 ; 简单 的 相似 性 度量 对 所 有 的 特征 相同 对 待 。 人 分 类 时 更 多 依赖 于 分 
类 的 目标 和 领域 的 先 验 知识 ， 而 不 只 是 表面 的 相似 性 。 例 如 ， 人 们 把 鲸鱼 分 类 为 哺乳 动物 ， 而 不 
是 鱼 类 。 表 面 的 相似 性 不 能 对 这 个 分 类 做 解释 ， 这 个 分 类 依赖 于 生物 分 类 的 广义 目标 和 广泛 的 
生理 学 和 进化 的 证 据 。 | 

传统 的 分 类 算法 不 仅 不 能 考虑 目标 和 背景 知识 ， 而 且 不 能 对 分 类 结果 做 出 有 意义 的 语义 解 
释 。 这 些 算 法 外 延 地 表示 聚 类 ， 意 思 是 通过 枚 举 它们 的 所 有 成 员 来 表示 聚 类 。 算 法 没有 产生 内 涵 
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定义 ,或 者 定义 类 别 的 语义 和 可 以 用 来 对 类 别 的 已 知 和 未 来 成 员 进 行 分 类 的 通用 规则 。 例 如 ， 一 
个 联合 国 秘书 长 的 外 延 定义 是 把 这 些 人 简单 地 列 出 来 。 一 个 内 涵 定 义 ， 如 


{X1 X 曾 被 选 为 联合 国 秘书 长 } 


增加 了 定义 类 别 语义 的 优点 ， 允 许 我 们 辨识 这 个 类 别 的 未 来 成 员 。 

概念 聚 类 通过 用 机 器 学 习 的 技术 来 产生 通用 的 概念 定义 和 把 背景 知识 运用 于 类 别 形 成 来 解 
决 这 些 问题 。CLUSTER/2 (Michalski 与 Stepp 1983) 是 这 种 方法 的 一 个 很 好 的 例子 。 它 用 的 背景 
知识 是 以 在 表示 类 别 的 语言 上 的 偏 置 的 形式 给 出 来 的 。 

CLUSTER/2 通过 建立 在 k 个 种 子 对 象 周围 的 个 体 来 形成 k 个 类 别 。k 是 一 个 参数 ， 可 以 由 用 
户 来 调整 。CLUSTER72 评价 结果 聚 类 ， 选 出 新 的 种 子 ， 重 复 这 一 过 程 直 到 达到 质量 标准 。 算 法 
定义 为 : 

1) 从 观察 到 的 对 象 集合 中 选 出 Kk 个 种 子 。 这 可 以 是 随机 的 ， 或 者 根据 某 些 选择 标准 。 

2) 对 每 一 个 种 子 ， 用 这 个 种 子 作为 正 例 ， 所 有 其 他 的 种 子 作为 反例 ， 产 生 覆 盖 所 有 正 例 且 
不 覆盖 任何 反例 的 最 一 般 定义 。 注 意 这 可 能 导致 其 他 没有 种 子 物体 的 多 个 分 类 。 

3) 根据 这 些 描述 对 样本 中 的 所 有 物体 分 类 。 用 覆盖 类 别 中 所 有 物体 的 最 特殊 描述 来 替换 每 
个 最 一 般 描述 。 这 减少 了 在 类 间 重 蔡 的 不 可 见 样本 的 相似 度 。 

4) 分 类 可 能 对 给 定 物 体 交叉 重 琶 。CLUSTER/2 包含 调整 交叉 重 释 定义 的 一 个 算法 。 

5) 用 距离 度量 ， 选 出 与 每 个 类 别 中 心 最近 的 元 素 。 上 距离 度量 可 能 与 上 面 讨论 的 相似 度量 有 
些 相 似 。 

6) 用 这 些 中 心 元 素 作为 新 的 种 子 ， 重 复 步骤 1 ~5。 当 到 类 令 人 满意 时 停止 。 一 个 典型 的 质 
量度 量 是 类 别 的 通用 描述 的 复杂 性 。 例 如 ， 一 个 奥 卡 姆 剃刀 的 变种 可 能 会 选择 语法 上 简单 定义 
的 聚 类 ， 如 那些 有 很 少数 目的 合 取 词 的 定义 。 

7) 如 果 聚 类 不 令 人 满意 并 且 几 次 迭代 之 后 没有 什么 改进 ， 选 取 与 聚 类 的 边缘 最 近 的 元 素 为 
新 的 种 子 ， 而 不 是 取 中 心 的 元 素 。 

10-20 显示 了 CLUSTERZ2 算法 执行 的 各 个 阶段 。 





+ + 
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选择 完 种 子 在 产生 一 般 描述 之 后 在 特 化 概念 描述 排除 重生 元 素 
之 后 (第 1 步 ) (第 2 步 和 第 3 步 )。 注 之 后 (第 4 步 )。 仍 之 后 (第 5 步 ) 


意 类 别 交 敬 然 有 交 全 元 素 
图 10-20 ”CLUSTER/2 运行 的 步骤 


10. 6. 3 ” COBWEB 和 分 类 知识 的 结构 


很 多 聚 类 算法 和 很 多 监督 学 习 算 法 (如 ID3) 用 成 员 关系 的 必要 和 充分 条 件 来 定义 类 别 。 这 
些 条 件 是 属性 的 集合 ， 这 些 属 性 是 这 个 类 别 所 有 成 员 共 有 的 ， 并 且 只 有 这 个 类 别 的 成 员 才 有 。 虽 
然 很 多 类 别 ， 如 联合 国 代 表 的 集合 ， 可 能 是 这 样 定 义 的 ， 人 类 分 类 时 并 不 总 是 遵循 这 个 模型 。 侨 
际 上 ， 人 类 分 类 比 我 们 目前 所 讨论 的 有 更 大 的 灵活 性 和 更 丰富 的 结构 。 

例如 ， 如 果 人 类 分 类 真是 由 成 员 关 系 的 充分 和 必要 条 件 定义 的 ， 我 们 就 不 能 区 别 成 员 对 
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类 别 的 隶属 度 。 但 是 ， 心 理学 者 指出 了 人 类 分 类 时 对 典型 性 的 强烈 感觉 (Rosch 1978) 。 例 
如 ， 我 们 认为 知 更 鸟 更 像 是 鸟 而 不 是 鸡 ; 与 棕榈 相 比 ， 橡 树 (至 少 在 北纬 度 ) 是 树 的 更 典型 
的 例子 。 

家 庭 成 员 相 似 性 理论 ( Wittgenstein 1953) 支持 典型 性 的 概念 ， 它 的 观点 是 类 别 是 由 成 员 之 
间 相 似 性 的 复杂 系统 来 定义 的 ， 而 不 是 由 成 员 关系 的 充分 必要 条 件 来 定义 的 。 这 样 的 类 别 可 能 
不 含有 所 有 成 员 共 有 的 属性 。Wittgenstein 引用 了 游戏 的 例子 :不 是 所 有 的 游戏 都 需要 两 个 或 更 
多 个 玩 游戏 的 人 ， 如 单 人 纸牌 (solitaire) ; 不 是 所 有 的 游戏 对 玩 者 来 说 都 是 有 趣 的 ， 如 “石头 、 
剪子 、 布 ”游戏 (rochambeau) ; 不 是 所 有 的 游戏 都 有 清晰 明确 的 规则 ， 如 儿童 玩 的 假装 游戏 
(make believe) ; 不 是 所 有 的 游戏 都 涉及 竞争 ， 如 跳绳。 虽然 如 此 ， 我 们 认为 类 别 是 良好 定义 的 
和 明确 的 。 

人 类 分 类 也 不 同 于 最 正式 的 遗传 等 级 ， 因 为 人 类 分 类 的 所 有 层次 不 是 同样 重要 的 。 心 理学 
者 〈Rosch 1978) 证 明了 基于 层次 分 类 的 存在 。 基 于 层次 分 类 是 描述 物体 时 最 常用 的 分 类 ， 这 个 
分 类 儿童 首先 学 会 ， 层 次 某 种 意义 上 说 是 一 个 物体 最 基础 的 分 类 。 例 如 ， 类 别 “ 椅 子 ” 比 它 的 
汉化 等 级 (如 “家 具 ”) 或 者 它 的 特 化 (如 “办 公 室 椅子 ”) 更 基础 。“ 汽 车 ” 比 “ 私 家 轿车 ” 
或 者 “交通 工具 ”更 基本 。 

表示 类 的 成 员 关系 和 等 级 的 常用 方法 ， 如 逻辑 、 遗 传 系统 、 特 征 向 量 或 者 决策 树 都 不 能 解释 
它们 的 作用 。 但 做 这 些 事情 不 仅 是 对 认 知 科学 家 很 重要 ， 他 们 的 目标 是 理解 人 类 的 智能 ， 它 还 对 
人 工 智 能 的 应 用 工程 很 有 价值 。 用 户 用 灵活 性 、 鲁 棒 性 和 按 人 的 标准 看 起 来 很 合理 的 方式 产生 
行为 的 能 力 来 评价 一 个 程序 。 虽 然 我 们 不 需要 人 工 智 能 的 算法 与 人 类 的 意识 的 结构 相 一 致 ， 用 
来 发 现 类 别 的 任何 算法 必须 达到 用 户 对 于 类 别 的 结构 和 行为 的 期 望 的 要 求 。 

COBWEB (Fisher 1987) 解决 了 这 些 问题 。 虽 然 它 没有 设计 成 人 类 认 知 的 模型 ， 它 确实 解释 
了 基于 层次 分 类 和 类 别 的 隶属 度 的 问题 。 另 外 ，COBWEB 进行 增 量 式 的 学 习 : 它 不 要 求 在 开始 
学 习 时 给 出 所 有 的 实例 。 在 很 多 应 用 中 ,学 习 器 随 着 时 间 的 增长 逐渐 获取 数据 。 在 这 些 情况 下 ， 
它 必须 从 初始 的 数据 集中 建立 有 用 的 概念 描述 ， 在 有 更 多 数据 可 用 时 更 新 这 些 描 述 。COBWEB 
还 解决 了 确定 正确 的 聚 类 数量 的 问题 。CLUSTERv2 产生 提前 规定 的 类 别 数目 。 虽然 用 户 可 以 改 
变 这 个 数字 ,或 者 为 了 改进 分 类 算法 可 以 尝试 不 同 的 值 ， 这 些 办 法 并 不 是 特别 灵活 。COBWEB 
用 全 局 质量 度量 来 确定 聚 类 的 数目 ， 等 级 的 深度 和 新 实例 的 类 别 成 员 关系 。 

与 我 们 目前 看 到 的 算法 不 同 ，COBWEB 或 然 性 地 表示 类 别 。 它 不 是 定义 类 别 成 员 关系 为 物体 的 
每 个 特征 的 值 都 要 给 出 来 的 值 的 集合 ，COBWEB 用 每 个 特征 值 出 现 的 概率 来 表示 。p(f = w | cu) 
( 见 5.2 节 ) 是 给 定 一 个 物体 属于 类 别 ck 特征 f 有 值 vi 的 条 件 概率 。 

图 10-21 解释 了 取 自 Gennari et al (1989) 的 一 个 COBWEB 分 类 。 在 这 个 例子 中 ， 算 法 形成 
图 的 底部 所 示 的 4 个 单 细胞 动物 的 分 类 。 每 个 动物 由 这 些 特 征 的 值 来 定义 : 颜色 、 尾 巴 的 数目 及 
核子 的 数目 。 例 如 ， 类 别 C3 有 2 条 尾巴 的 概率 为 1， 有 0. 5 的 概率 有 浅 的 颜色 ， 有 2 个 核子 的 概 
率 为 1。 

如 图 10-21 所 示 ， 在 等 级 中 的 每 个 类 别 包含 所 有 特征 的 所 有 值 出 现 的 概率 。 这 对 于 新 实例 分 
类 和 修改 类 别 结 构 来 适应 新 实例 都 很 重要 。 实 际 上 ， 作 为 一 个 增 量 式 算法 ，COBWEB 没有 把 这 
些 动作 分 开 。 当 给 定 一 个 新 实例 ，COBWEB 考虑 或 者 把 实例 归 入 已 知 类 别 或 者 修改 等 级 来 适应 
这 个 实例 的 全 面 的 质量 。COBWEB 用 来 评价 分 类 质量 的 标准 被 称 为 分 类 工具 (Gluck and Corter 
1985) 。 分 类 工具 常用 于 人 类 分 类 的 研究 。 它 解释 基层 效应 和 人 类 分 类 结构 的 其 他 方面 。 

分 类 工具 试图 最 大 化 同一 类 别 中 的 两 个 物体 有 共同 值 的 概率 和 在 不 同类 别 中 的 物体 有 不 同 
属性 值 的 概率 。 分 类 工具 定义 为 : 
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图 10-21 对 4 个 单 细胞 组 织 的 一 个 COBWEB 聚 类 
[改编 自 Gennari 等 (1989) ] 


D2 2 pGi=vi)p(i=vijlcoptck| 和 vi) 
KT 


这 个 和 取 自 于 所 有 类 别 cv 所 有 特征 f 和 所 有 特征 值 vj, p(f = vi | cu) 称 为 可 预言 性 (predictabili- 
ty) ， 是 给 定 物体 属于 类 别 cx 的 情况 下 对 特征 f 物 体 有 值 w 的 概率 。 这 个 概率 越 高 ， 同 一 类 别 中 
的 两 个 物体 有 相同 特征 值 的 可 能 性 越 大 。p(c | f = Vi) 称 为 预言 性 (predictiveness) ， 是 给 定 一 
个 物体 对 特征 物体 有 值 W 的 情况 下 该 物体 属于 类 别 ck 的 概率 。 这 个 概率 越 大 ， 不 在 这 一 类 别 中 
的 物体 有 这 些 特征 值 的 可 能 性 越 小 。p(f = w) 可 以 当 作 一 个 权 值 ， 断 言 经 常 发 生 的 特征 值 对 评价 
有 较 大 的 影响 。 通 过 合并 这 些 值 ， 高 的 分 类 工具 度量 意味 着 同一 类 别 中 的 物体 有 相同 属性 的 可 
能 性 也 较 高 ， 而 不 同类 别 中 的 物体 有 共同 属性 的 可 能 性 则 较 低 。 
COBWEB 算法 定义 为 ;: 
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cobweb(Node, Instance) 
begin 
if Node is a leaf 
then begin 
create two children of Node, Li and L;; 
set the probabilities of Li to those of Node: 
initialize the probabilities for L, to those of Instance: 
add Instance to Node, updating Node s probabilities: 
end 
else begin 
add Instance to Node, updating Node s probabilities: 
for each child, C, of Node, compute the category utility of the clustering 
achieved by placing Instance in C; 
let S1 be the score for the best categorization, C1; 
let S, be the score for the second best categorization, Cy; 
let Ss be the score for placing instance in a new category; 
let S4 be the score for merging C1 and C, into one category; 
let Ss be the score for splitting C1 (replacing it with its child categories) 
end 
If Si is the best score 
then cobweb(C1, Instance) % place the instance in C1 
else if Sa is the best score 
then initialize the new category s probabilities to those of Instance 
else if S4 is the best score 
then begin 
let Cn be the result of merging C1 and C>; 
cobweb(Cn,, Instance) 
end 
else if Ss is the best score 
then begin 
split C1; 
cobweb(Node, Instance) 
end; 
end 


COBWEB 用 分 类 工具 来 评价 和 选择 可 能 的 分 类 ， 采用 扑 山 法 搜索 可 能 的 分 类 空间 。 它 初始 
化 分 类 为 一 个 单一 的 类 别 ， 特 征 是 第 一 个 实例 的 特征 。 对 每 一 个 接 下 来 的 实例 ， 算 法 从 根 类 别 开 
始 ， 沿 着 树 移 动 。 在 每 一 层 它 用 分 类 工具 来 评价 如 下 产生 的 分 类 : 

1) 把 实例 置 于 最 佳 的 现存 类 别 。 

2) 增加 一 个 只 含有 一 个 实例 的 新 类 别 。 

3) 合并 两 个 现存 的 类 别 为 一 个 新 类 别 ， 增 加 这 个 实例 到 这 个 新 类 别 。 

4) 把 一 个 现存 类 别 分 成 两 个 ， 把 实例 置 于 这 两 个 中 最 佳 的 类 别 。 

图 10-22 解释 了 合并 和 划分 结 点 的 过 程 。 为 了 合并 两 个 结 点 ， 算 法 产生 一 个 新 结 点 ， 并 把 现 
存 结 点 当 作 这 个 结 点 的 孩子 结 点 。 它 通过 合并 孩子 结 点 的 概率 来 计算 新 结 点 的 概率 。 划 分 结 点 
是 用 它 的 孩子 结 点 替换 结 点 自身 。 

这 个 算法 是 有 效 的 ， 产 生 合 理 数 目的 类 别 的 分 类 。 因 为 它 允 许 概 率 成 员 关 系 ， 它 的 类 别 是 灵 
活 的 、 和 鲁 棒 的 。 另 外 ， 它 还 证 明了 基层 分 类 效应 和 通过 部 分 类 别 匹 配 的 概念 来 支持 典型 性 和 隶属 
度 的 概念 。COBWEB 不 依赖 于 二 值 逻 辑 ， 而 是 像 模糊 逻辑 一 样 ， 把 类 别 成 员 关 系 的 “模糊 性 ” 
看 成 是 以 灵活 和 智能 的 方式 来 学 习 和 推理 的 必要 部 分 。 

接 下 来 讨论 强化 学 习 ， 像 11. 2 节 中 的 分 类 器 系统 一 样 ， 解 释 从 环境 得 到 的 反馈 来 学 习 在 那 
个 环境 中 间 题 求解 的 条 件 / 响 应 关系 的 最 佳 集合 。 
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图 10-22 结 点 的 合并 和 划分 


10.7 强化 学 习 


人 类 (通常!) 从 与 外 界 环境 的 交互 中 学 习 。 但 是 ， 思 考 的 一 瞬间 使 我 们 想起 由 动作 得 到 的 
反馈 并 不 总 是 立即 的 和 直接 的 。 例 如 ， 在 人 类 的 关系 中 ， 经 常 要 费 好 长 时 间 才 能 充分 欣赏 动作 所 
得 出 的 结果 。 与 外 界 的 交互 给 我 们 原因 和 结果 (Pearl 2000) ， 动 作 的 结果 ， 甚 至 我 们 怎么 才能 完 
成 复杂 的 目标 。 作 为 智能 主题 ， 我 们 制定 在 和 从 我 们 的 世界 中 工作 的 策略 。“ 世 界 ” 是 一 个 教 
师 ， 但 她 的 课程 经 常 是 精细 的 ， 有 时 难以 完成 。 


10.7. 1 强化 学 习 的 组 成 部 分 


在 强化 学 习 中 ， 设 计算 法 来 把 外 界 环境 转化 为 最 大 化 奖励 量 的 方式 的 动作 。 我 们 并 没有 直 
接 告 诉 主体 要 做 什么 或 者 要 采取 哪个 动作 ， 而 是 主体 通过 看 哪个 动作 得 到 了 最 多 的 奖励 来 自己 
发 现 。 主 体 的 动作 的 影响 不 只 是 立即 得 到 的 奖励 ， 而 且 还 影响 接 下 来 的 动作 和 最 终 的 奖励 。 试 错 
搜索 (trial-and-error search) 和 延期 强化 (delayed reinforcement) 这 两 个 特性 是 强化 学 习 中 两 个 
最 重要 的 特性 。 所 以 ， 强 化 学 习 是 比 本 章 中 前 面 所 看 到 的 学 习 更 通用 的 方法 学 。 

强化 学 习 不 是 通过 特殊 的 学 习 方 法 定义 的 ， 而 是 通过 在 环境 中 并 响应 外 界 环境 的 动作 定义 
的 。 任 何 解决 这 种 交互 的 学 习 方法 都 是 一 个 可 接受 的 强化 学 习 方法 。 强 化 学 习 也 不 是 监督 学 习 ， 
在 有 关机 器 学 习 的 部 分 我 们 都 可 以 看 出 来 。 在 监督 学 习 中 ,“ 教 师 ” 用 实例 来 直接 指导 或 者 训练 
学 习 器 。 在 强化 学 习 中 ， 学 习 主体 自身 通过 训练 、 误 差 和 反馈 来 学 习 在 环境 中 完成 目标 的 最 佳 策 
略 ( 见 11.2 节 的 分 类 器 学 习 ) 。 

强化 学 习 器 必须 考虑 的 另外 一 个 问题 ， 是 在 只 用 目前 所 知道 的 和 进一步 探索 世界 之 间 权 衡 。 
为 了 优化 它 获得 奖励 的 可 能 性 ， 主 体 必 须 不 仅 知 道 已 经 知道 的 ， 而 且 要 探索 未 知 的 那 部 分 世界 。 
探索 允许 主体 (可 能 的 ) 在 未 来 做 出 更 好 的 选择 ; 这 样 很 明显 的 , 或 者 一 直 探 索 或 者 从 不 探索 
的 主体 通常 会 失败 。 主 体 必须 探索 大 量 的 选择 ， 同 时 选 出 看 起 来 是 最 好 的 那 部 分 选择 。 对 于 有 随 
机 参数 的 任务 ， 探 索 动 作 必须 做 多 次 来 得 到 可 信赖 的 奖励 的 估计 (关于 随机 强化 学 习 问 题 的 细 
节 见 第 13 章 ) 。 

本 书 前 面 给 出 的 很 多 问题 求解 算法 ， 包 括 计划 程序 、 决 策 制 定 程序 和 搜索 算法 ， 可 以 看 成 是 
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在 强化 学 习 的 上 下 文 环境 中 。 例 如 ， 我 们 可 以 用 teleo-reactive 控制 程序 ( 见 7.4 节 ) 来 建立 一 个 
计划 ， 然 后 用 一 个 强化 学 习 算 法 评价 它 是 否 成 功 。 事 实 上 ，DYNA - Q 强化 学 习 算法 (Sutton 
1990，1991) 综合 了 学 习 与 计划 和 动作 的 模型 。 这 样 ， 强 化 学 习 提供 了 一 种 评价 在 复杂 环境 下 完 
成 任务 的 计划 、 模 型 和 它们 的 工具 的 方法 。 

现在 介绍 强化 学 习 的 一 些 术 语 : 

t 是 问题 求解 过 程 中 的 一 个 离散 时 间 步 。 

s 是 + 时 刻 的 问题 状态 , 它 取 决 于 $1.1 和 al_1。 

al 是 时 刻 t 的 动作 , 取决 于 st。 

n 是 时 刻 t 的 奖励 , 取决 于 s,_, 和 al_1。 

Tt 是 在 一 个 状态 采取 一 个 动作 的 策略 。 因 此 ，™ 是 从 状态 到 动作 的 一 个 映射 。 

TT 是 最 优 策略 。 

V 映射 一 个 状态 到 它 的 值 。 因 此 ，V"(s) 是 在 策略 下 下 状态 s 的 值 。 

在 10.7.2 节 中 ， 时 序 差分 学 习 在 静态 的 下 下 对 每 一 s 学 习 V 的 值 。 

强化 学 习 由 四 部 分 组 成 : 策略 中， 奖励 函数 [， 值 映射 V 和 一 个 环境 的 模型 (通常 情况 ) 。 
策略 定义 在 任何 给 定时 刻 学 习 主 体 的 选择 和 动作 的 方法 。 这 样 ， 策 略 可 以 通过 一 组 产生 式 规 则 
或 者 一 个 简单 的 查找 表 来 表示 。 像 刚才 指出 的 ， 特 定 情况 下 的 策略 可 能 也 是 广泛 搜索 ， 查 询 一 个 
模型 或 计划 过 程 的 结果 。 它 也 可 以 是 随机 的 。 策 略 是 学 习 主 体 中 重要 的 组 成 部 分 ， 因 为 它 自身 在 
任何 时 刻 足以 产生 动作 。 

奖励 函数 n 定 义 了 在 时 刻 t 问题 的 状态 /目标 关系 。 它 把 每 个 动作 ， 或 更 精细 的 每 个 状态 - 
响应 对 ， 上 映射 为 一 个 奖励 量 ， 以 指出 那个 状态 完成 目标 的 愿望 的 大 小 。 强 化 学 习 中 的 主体 有 最 大 
化 总 的 奖励 的 任务 ， 这 个 奖励 是 它 在 完成 任务 时 所 得 到 的 。 

赋值 函数 V 是 环境 中 每 个 状态 的 一 个 属性 ， 指 出 对 从 这 个 状态 继续 下 去 的 动作 系统 可 以 期 
望 的 奖励 。 奖 励 函 数 度量 状态 - 响应 对 的 立即 的 期 望 值 ， 而 赋值 函数 指出 环境 中 一 个 状态 的 长 
期 的 期 望 值 。 一 个 状态 从 它 自 己 内 在 的 品质 和 可 能 紧 接着 它 的 状态 的 品质 来 得 到 值 ， 也 就 是 在 
这 些 状态 下 的 奖励 。 例 如 ， 一 个 状态 /动作 可 能 有 一 个 低 的 立即 的 奖励 ， 但 有 一 个 较 高 的 值 ， 因 
为 通常 紧 跟 它 的 状态 产生 一 个 较 高 的 奖励 。 一 个 低 的 值 可 能 同样 意味 着 状态 不 与 成 功 的 解 路 径 
相 联 系 。 

如 果 没 有 奖励 函数 ， 就 没有 值 ， 估 计 值 的 惟一 目的 是 为 了 获取 更 多 的 奖励 。 但 是 ， 在 做 决定 
时 ， 值 最 使 我 们 感 兴趣 ， 因 为 值 指出 带 来 最 高 的 回报 的 状态 和 状态 的 综合 。 但 是 ， 确 定 值 比 确定 
奖励 困难 。 奖 励 由 环境 直接 给 定 ， 而 值 是 估计 得 到 的 ， 然 后 随 着 时 间 推 移 根据 成 功 和 失败 重新 估 
计 值 。 事 实 上 ， 强 化 学 习 中 最 重要 也 是 最 难 的 方面 是 创建 一 个 有 效 的 确定 值 的 方法 。 在 10.7.2 
节 中 将 给 出 一 种 方法 ， 时 序 差分 学 习 规则 。 

强化 学 习 的 一 个 最 后 和 可 选择 的 元 素 是 环境 的 模型 。 一 个 模型 是 捕获 环境 行为 的 各 个 方面 
的 一 个 机 制 。 如 7. 3 节 中 我 们 所 看 到 的 ， 模 型 不 仅 可 以 用 来 确定 故障 〈 像 诊断 推理 ) ， 还 可 以 作 
为 确定 动作 计划 的 一 部 分 。 模 型 让 我 们 在 没有 实际 试验 它们 的 情况 下 估计 未 来 可 能 的 动作 。 基 
于 模型 的 计划 是 强化 学 习 案例 的 一 个 新 的 补充 ， 因 为 早期 的 系统 趋向 于 基于 纯粹 的 一 个 主体 的 
试验 和 误差 来 产生 奖励 和 值 参数 。 


10.7.2 一 个 例子 : 九宫 游戏 


我 们 接 下 来 用 九宫 游戏 来 说 明 一 个 强化 学 习 算 法 ， 这 个 游戏 的 问题 我 们 曾经 讨论 过 ( 见 第 4 
章 ) ， 并 给 出 Sutton 与 Barto (1998) 的 涉及 强化 学 习 的 文献 。 对 强化 学 习 和 其 他 求解 方法 (例如 
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最 大 最 小 法 ) 进行 比较 和 对 比 是 很 重要 的 。 
提示 ， 九 宫 游戏 是 在 一 个 3 x3 格子 上 玩 的 两 人 游戏 ， 如 图 -5 所 示 。 玩 者 X 和 O， 交 和 替 
地 在 格子 上 放置 他 们 的 记号 ， 首 先 在 一 行 (水平 、 重 直 或 者 对 角 线 ) 放 上 3 个 记号 的 玩 者 为 胜 
者 。 如 读者 所 知 ， 当 这 个 游戏 用 完美 的 信息 和 可 回潮 的 值 来 玩 时 ， 总 是 平局 ( 见 4 3 节 )。 但 
是 ， 用 强化 学 习 ， 我 们 能 做 一 些 更 有 趣 的 事情 。 我 们 将 展示 怎么 来 捕获 一 个 不 完美 的 对 手 的 表 
现 ， 并 建立 让 我 们 对 对 手 的 优势 最 大 化 的 一 个 策略 。 我 们 的 策略 还 可 以 随 着 对 手 改进 他 的 游戏 
而 改进 ， 运 用 模型 我 们 能 够 产生 叉子 和 其 他 的 进攻 移动 。 
首先 ， 必 须 建立 一 个 数字 表 ， 每 个 数 表示 一 个 游戏 可 能 的 状态 。 这 些 数字 ， 也 就 是 状态 值 
反映 从 这 个 状态 获胜 可 能 性 的 当前 估计 。 这 会 支持 一 个 必须 赢 的 策略 ， 也 就 是 说 ， 或 者 对 手 赢 ， 
或 者 平局 算 我 们 输 。 这 种 平 算 输 的 方法 允许 我 们 建立 聚焦 于 赢 的 策略 ， 这 与 4 3 节 中 我 们 的 完美 
信息 的 赢 - 输 - 平 模型 有 所 不 同 。 实 际 上 ， 这 是 一 个 很 重要 的 不 同 ; 我 们 试图 获取 一 个 实际 选手 
的 技巧 ， 而 不 是 一 些 理想 化 选手 的 完美 信息 。 这 样 ， 我 们 初始 化 表 ， 用 1 表示 我 们 能 赢 的 每 个 位 
置 ， 用 0 表示 平 或 输 的 位 置 ， 用 0. 5 表示 其 余 位 置 ， 它 反映 了 我 们 初始 时 估计 从 这 些 状态 有 50% 
的 可 能 性 赢 
我 们 现在 与 对 手 玩 这 个 游戏 。 为 简单 起 见 ， 假 定 我 们 是 X, 我 们 的 对 手 是 O。 图 10-23 反映 
了 游戏 中 一 种 可 能 的 移动 序列 ， 既 有 考虑 到 的 又 有 选择 的 移动 。 为 了 产生 一 步 移动 ， 首 先 考虑 从 
当前 状态 一 步 合法 移动 到 的 每 个 状态 ， 即 任何 X 可 能 移动 的 开放 状态 。 我 们 查找 表 中 保存 的 那 
个 状态 的 当前 值 。 在 大 多 数 时 刻 ， 我 们 可 以 做 一 步 食 柳 的 移动 ， 即 取 有 最 佳 峰值 丽 数 的 状态 。 偶 
尔 ， 我 们 会 做 一 步 探测 的 移动 ， 从 其 他 状态 中 随机 选取 一 个 状态 。 这 些 探测 的 移动 是 为 了 考虑 在 
游戏 情形 中 可 能 看 不 到 的 一 些 选 择 ， 来 扩大 可 能 值 的 
最 优化 。 我 的 移动 : 
在 玩 游 戏 时 ， 我 们 改变 选择 的 每 个 状态 的 赋值 函 
数 。 我 们 试图 使 它们 的 最 新 值 反映 它们 在 成 功 路 径 上 
的 可 能 性 。 在 前 面 我 们 把 这 个 称 为 一 个 状态 的 奖励 函 对 手 的 移动 
数 。 为 了 做 到 这 一 点 ， 我 们 退回 到 已 经 选择 的 一 个 状 
态 的 值 ， 把 它 作为 下 一 个 要 选择 的 状态 的 值 的 函数 。 
如 图 10-23 中 “向 上 指 ”的 箭头 所 示 ， 这 个 退回 的 动 
作 越过 我 们 对 手 的 选择 ， 但 它 确 实 反映 了 指导 我 们 选 A 
择 下 一 个 状态 的 值 的 集合 。 这 样 ， 选 择 的 前 一 个 状态 Ef 
的 当前 值 就 被 修正 来 更 好 反映 后 来 状态 的 值 (并 且 最 
终 ， 当 然 是 反映 赢 或 输 的 值 ) 。 我 们 通常 是 通过 移动 前 “对手 的 移动 | 
一 个 状态 一 部 分 差分 值 来 完成 这 个 任务 ， 这 个 差分 值 秃 
是 前 一 个 状态 自身 与 我 们 选择 的 新 状态 之 间 的 差异 值 。 
这 个 部 分 度量 ， 称 为 步 长 参数 ， 通 过 等 式 中 的 乘 数 C 我 的 移动 
来 反映 : 


V(S5) =V(S,) +c(V(Sn.1) -V(sn)) 


在 这 个 等 式 中 ，s, 表 示 在 时 刻 n 选择 的 状态 ，Sn,， 对 手 的 移动 : 
表示 在 时 刻 n +1 选择 的 状态 。 这 个 更 新 的 等 式 是 时 序 
差分 学 习 规 则 的 一 个 例子 ， 因 为 改变 是 在 两 个 不 同时 图 10-23 ”九宫 游戏 的 一 个 移动 序列 
刻 n 和 n+1 估计 值 的 差分 V(s,,;) -V(s,) 的 一 个 方 注 ; 向 下 指向 棋盘 的 虚 得 头 表示 可 能 的 移动 选择 ， 
程 。 在 下 一 节 ， 进 一 步 讨论 这 些 学 习 规则 。 向 上 的 实 箭头 表示 当 奖 励 落 数 改 变 状 态 值 时 的 奖励 
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时 序 差分 方程 对 九宫 游戏 执行 得 非常 好 。 我 们 想 随 着 时 间 来 减 小 步 长 参数 c， 目 的 是 为 了 伴 
随 着 系统 的 学 习 ， 对 状态 值 进行 连续 减 小 的 调整 。 给 定 对 手 ， 这 能 保证 每 个 状态 的 赋值 函数 收敛 
于 赢 的 概率 。 还 有 ， 除 了 周期 性 的 探索 式 的 移动 ， 做 出 的 选择 实际 上 是 最 佳 的 移动 ， 即 对 这 个 对 
手 最 佳 的 策略 。 但 是 ， 更 令 人 感 兴趣 的 是 这 样 一 个 事实 : 如 果 步 长 从 未 真正 减 到 0， 则 这 个 策略 
会 持续 改变 来 反映 对 手 玩 时 的 任何 改变 /改进 。 

九宫 游戏 解释 了 强化 学 习 的 很 多 重要 特征 。 首 先 ， 有 在 与 环境 交互 时 的 学 习 ， 这 里 有 对 手 。 
第 二 ， 有 (反映 在 很 多 目标 状态 上 的 ) 清晰 的 目标 和 最 佳 行为 ， 这 需要 计划 和 预 做 准备 ， 以 便 
为 特定 移动 的 延期 效应 保留 余地 。 例 如 ， 强 化 学 习 算 法 有 效 地 建立 对 低级 对 手 的 多 步 移动 的 计 
策 。 这 是 强化 学 习 的 一 个 重要 特征 ， 在 没有 对 手 的 清晰 模型 或 不 进行 扩展 搜索 的 情况 下 ， 预 做 准 
备 和 规划 的 效果 可 以 在 实际 中 完成 。 

在 九宫 游戏 的 例子 中 ， 学 习 初始 时 除了 游戏 规则 没有 其 他 先 验 知识 (我们 只 是 把 所 有 的 非 
终 态 的 状态 初始 化 为 0.5) 。 强 化 学 习 不 需要 这 种 “新 的 开始 ”的 观点 。 任 何 能 用 的 先 验 知识 可 
以 使 它 成 为 初始 状态 值 的 组 成 部 分 。 处 理 没有 可 用 信息 的 状态 也 是 可 能 的 。 最 后 ， 如 果 一 个 情况 
的 模型 是 可 用 的 ， 则 结果 模型 所 依据 的 信息 可 以 用 于 状态 的 值 。 但 是 ， 重 要 的 是 要 记 住 强化 学 习 
可 以 用 于 以 下 任 一 种 情况 : 不 需要 模型 ， 但 如 果 模 型 能 用 或 者 模型 可 以 被 学 习 到 ， 则 可 以 使 用 
模型 。 

在 九宫 游戏 的 例子 中 ， 奖 励 是 随 着 每 个 状态 - 动作 的 决定 分 期 付 给 的 。 我 们 的 主体 是 近视 
的 ， 它 只 考虑 最 大 化 立即 的 奖励 。 实 际 上 ， 如 果 使 用 强化 学 习 进 行 更 深入 的 预先 准备 ， 我 们 将 需 
要 度量 最 终 奖 励 的 折扣 回报 ( discounted retum) 。 令 折扣 率 y 表示 一 个 未 来 奖励 的 当前 值 : 未 来 
k 个 时 间 步 得 到 的 奖励 的 价值 是 立即 得 到 的 奖励 的 价值 的 交 … 倍 。 这 个 奖励 量 的 折扣 在 下 一 节 给 
出 的 强化 学 习 的 动态 规划 方法 中 很 重要 。 

九宫 游戏 是 两 人 游戏 的 一 个 例子 。 强 化 学 习 还 可 以 用 于 没有 对 手 ， 而 只 是 从 环境 得 到 反馈 
的 情形 。 九 宫 游戏 的 例子 的 状态 空间 还 是 有 限 的 (实际 上 相当 小 ) 。 强 化 学 习 还 可 以 用 于 当 状 态 
空间 很 大 ， 或 者 甚至 是 无 限 的 时 候 。 在 后 面 一 种 情况 下 ， 只 有 当 状 态 遇 到 和 用 于 一 个 解 中 时 才 产 
生 状 态 值 。 例 如 ，Tesauro (1995) 用 刚才 描述 的 时 序 差分 规则 建造 一 个 神经 网 络 来 学 习 下 西洋 
双 陆 棋 。 虽 然 西洋 双 陆 棋 的 状态 空间 的 估计 大 小 为 10”，Tesauro 的 程序 与 最 好 的 人 类 棋 手 下 棋 
的 水 平 差不多 。 


10.7.3 强化 学 习 的 推理 算法 和 应 用 


根据 Sutton 和 Barto (1998) ， 有 三 大 类 强化 学 习 的 推理 算法 : 时 序 差分 学 习 、 动 态 规划 和 和 蒙 
特 卡 罗 (Monte Carlo) 方法 。 这 三 种 方法 形成 了 所 有 当前 强化 学 习 的 方法 的 实质 上 的 基础 。 时 序 
差分 方法 从 取样 的 轨道 学 习 ， 并 状态 到 状态 地 回 湖 值 。 在 前 一 节 通 过 九 富 游 戏 看 到 了 时 序 差 分 
学 习 的 一 个 例子 。 

动态 规划 方法 通过 从 后 继 状 态 回 湖 值 到 前 驱 状 态 来 计算 赋值 函数 。 动 态 规划 方法 基于 下 一 
个 状态 分 布 的 模型 来 接连 地 更 新 状态 。 强 化 学 习 的 动态 规划 方法 是 基于 这 样 一 个 事实 : 对 任意 
策略 T 和 任意 状态 s， 有 下 列 递归 的 一 致 的 等 式 成 立 : 


V"(s) = Zr(a | s) * Zr(s -，s' | a)* (Ra(s -> s ) +Y(Vr(s')) 
a S’ 
TT(a1 s) 是 给 定 在 随机 策略 Tt 下 状态 s 时 动作 a 的 概率 。(s 一 S' | a) 是 在 动作 a 下 状态 s 转 到 


状态 s' 的 概率 。 这 就 是 对 V" 的 Bellman (1957) 等 式 。 它 表示 了 一 个 状态 的 值 和 它 的 后 继 状态 弟 
归 计 算 的 值 之 间 的 关系 〈 见 4. 1 节 中 的 动态 规划 算法 ) 。 在 图 10-24a 中 ， 我们 给 出 了 第 一 步 计 
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算 ， 从 状态 s 我 们 向 前 看 三 个 可 能 的 后 继 。 对 策略 T， 动 作 a 出 现 的 概率 为 r(al s)。 从 这 三 个 
状态 中 的 每 个 状态 ， 环 境 可 能 响应 其 中 的 一 个 状态 ， 比 如 说 s' 有 奖励 r。Bellman 等 式 对 这 些 概率 
取 平均 值 ， 对 每 个 出 现 的 可 能 性 进行 加 权 。 它 指出 起 始 状态 s 的 值 必须 等 于 期 待 的 下 一 个 状态 的 
折扣 (y) 值 加 上 从 这 一 路 径 产 生 的 奖励 。 


六 
Max 


a) 对 V* 的 回溯 图 b) 对 Q* 的 回潮 图 


图 10-24 对 a)V “和 b)Q' 的 回潮 图 
[改编 自 Sutton 与 Barto (1998)] 


典型 的 动态 规划 模型 作用 有 限 ， 因 为 它们 有 对 一 个 完美 模型 的 假定 。 如 果 n 和 m 表示 状态 
和 动作 的 数目 ， 那 么 即使 确定 性 策略 的 总 数目 为 n" ， 动 态 规划 方法 也 能 保证 在 多 项 式 时 间 找 到 
最 优 策 略 。 在 这 个 意义 上 ， 动 态 规划 比 任何 策略 空间 中 的 直接 搜索 快 指数 级 ， 因 为 完成 同一 保 
证 ， 直 接 搜 索 必 须 对 每 个 策略 都 进行 评价 。 

蒙特 卡 罗 方 法 不 需要 一 个 完整 的 模型 。 它 们 对 状态 的 整个 轨道 进行 抽样 ， 基 于 抽样 点 的 最 
终结 果 来 更 新 赋值 函数 。 蒙 特 卡 罗 方 法 不 需要 经 验 ， 即 从 与 环境 联机 的 或 者 模拟 的 交互 中 抽样 
状态 、 动 作 和 奖励 的 序列 。 联 机 的 经 验 是 令 人 感 兴趣 的 ， 因 为 它 不 需要 环境 的 先 验 知识 ， 却 仍然 
可 以 是 最 优 的 。 从 模拟 的 经 验 中 学 习 的 功能 也 很 强大 。 它 需要 一 个 模型 ， 但 它 可 以 是 生成 的 而 不 
是 分 析 的 ， 即 一 个 模型 可 以 生成 轨道 却 不 能 计算 明确 的 概率 。 于 是 ， 它 不 需要 产生 在 动态 规划 中 
要 求 的 所 有 可 能 转变 的 完整 的 概率 分 布 。 

于 是 ， 蒙 特 卡 罗 方 法 通过 对 抽样 返回 值 取 平均 的 方法 来 解决 强化 学 习 问 题 。 为 了 确保 良好 
定义 的 返回 值 ， 蒙 特 卡 罗 方 法 定义 为 完全 抽样 ， 即 所 有 的 抽样 点 必须 最 终 终止 。 而 且 ， 只 有 当 一 
个 抽样 点 结束 ， 估 计 值 和 策略 才 会 改变 。 这 样 ， 在 抽样 点 意义 上 说 ， 蒙 特 卡 罗 方 法 在 一 个 抽样 点 
上 是 增加 的 ， 而 不 是 逐步 的 。 词 语 “ 上 蒙特 卡 罗 ” 常 广泛 用 于 操作 涉及 重要 的 随机 组 件 的 任何 估 
计 方 法 。 这 里 它 特 定 地 用 于 基于 对 完全 返回 值 取 平 均 的 方法 。 在 第 13 章 中 我 们 将 重新 讨论 蒙特 
卡 罗 强 化 学 习 方法 。 | 

还 有 用 于 强化 学 习 的 其 他 方法 ， 其 中 最 重要 的 是 Q 学 习 (Watkins 1989)， 一 个 时 序 差 分 方 
法 的 变种 。 在 Q 学 习 中 ，Q 是 状态 - 动作 对 到 学 习 到 的 值 的 一 个 函数 。 对 所 有 的 状态 和 动作 : 

Q: (state x action) 一 value 

对 Q 学 习 中 的 一 步 : 

QA(svat) ~ (1—c)* QA(sva) + Cc* [ry1 +Y* Max Q(st+ 1,a) — Qtsua] 

a 
其 中 c 和 都 小 于 等 于 1，r,; 是 状态 t+1 的 奖励 。 我 们 可 以 在 图 10-24b 中 看 到 Q 学 习 的 方法 ， 
它 与 图 10-24a 不 同 ， 它 的 开始 结 点 是 一 个 状态 - 动作 对 。 这 个 倒 推 规则 更 新 每 个 状态 - 动作 对 ， 
因此 图 10-24b 的 项 部 的 状态 ， 倒 推 的 根 结 点 ， 是 一 个 动作 结 点 和 产生 它 的 状态 。 

在 Q 学 习 中 ， 倒 推 从 动作 结 点 开始 ， 最 大 化 下 一 个 状态 的 所 有 可 能 动作 和 它们 的 奖励 。 在 
完全 递归 定义 的 Q 学 习 中 ， 倒 推 树 的 底部 结 点 是 一 个 从 根 结 点 开始 的 动作 和 它们 的 后 继 动作 的 
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奖励 的 序列 可 以 到 达 的 所 有 终端 结 点 。 联 机 的 Q 学 习 从 可 能 的 动作 向 前 扩展 ， 不 需要 建立 一 个 
完全 的 世界 模型 。Q 学 习 还 可 以 脱 机 执行 。 我 们 可 以 看 到 ， Q 学 习 是 一 种 时 序 差分 的 方法 。 进 一 - 
步 的 细节 可 以 在 Watkins (1989) 和 Sutton 与 Barto (1998) 中 找到 。 在 第 13 章 中 将 再 次 对 Q 学 
习 进 行 讨 论 。 

现在 用 强化 学 习 解 决 了 许多 重要 的 问题 ， 包括 西洋 双 陆 棋 (Tesauro 1994，1995 ) 。Sutton 与 
Barto (1998) 从 强化 学 习 的 观点 分 析 了 4. 3 节 中 Samuel 的 西洋 跳棋 程序 。 他 们 还 讨论 了 用 强化 
学 习 解 决 杂技 (acrobat) 、 电 梯 洲 这、 动态 水 道 分 配 、 加 工 车 闻 分 配 和 其 他 问题 的 方法 (Sutton 
and Barto 1998 ) 。 


10. 8 结语 和 参考 文献 


机 器 学 习 是 人 工 智 能 实践 中 最 令 人 振奋 的 分 支 之 一 ， 它 解 决 了 智能 行为 的 一 个 中 心 问 题 ， 
并 引出 了 有 关 知 识 表示 、 搜 索 、 甚 至 是 人 工 智 能 自身 的 基本 假设 的 许多 重要 问题 。 关于 机 器 学 习 
的 出 色 综 述 包 括 Pat Langley (1995) 的 《Elements of Machine Leaming》、Tom Mitchell (1997) 的 
《Machine Leaming》 和 Anthony Martin (1997) 的 《Computational Leaming Theory: An Introduc- 
tion》。Nils Nilsson 的 《An Introduction to Machine Leaming》 可 以 在 http: //robotics. stanford. edu/ 
people/nilssonA/mlbook. html 下 载 也 可 参见 16. 2 节 。 

关于 学 习 的 一 个 早期 综述 包括 : 《Machine Leaming，An Artificial Intelligence Approach》 (Ko- 
dratoff and Michalski 1990; Michalski et al. 1983, 1986 ) 。《 Readings in Machine Learning》 (Shavlik 
and Dietterich 1990) 收集 了 这 个 领域 中 重要 的 论文 ,一直 回 溯 到 1958 年 。 通过 把 所 有 这 些 研究 
集中 于 一 卷 中 ， 编 者 为 研究 者 和 寻找 这 个 领域 介绍 的 读者 都 提供 了 非常 有 价值 的 服务 。 归 纳 学 
习 在 Vere (1975，1978) 以 及 Dietterich 和 Michalski (1981，1986) 的 文章 中 有 介绍 。《Produc- 
tion System Models of Learning and Development》 (Klahr et al. 1987) 收集 了 机 器 学 习 中 的 许多 论 
文 ， 包 括 反映 使 用 更 为 认 知 的 方法 进行 学 习 的 工作 (SOAR ) 。 

《Computer Systems That Leam》 (Weiss and Kulikowski 1991 ) 是 对 整个 领域 简介 性 的 一 个 综 
述 ， 包 括 神经 网 络 、 统 计 方 法 和 机 器 学 习 技术 。 对 类 比 学 习 更 深入 讨论 感 兴趣 的 读者 可 以 看 Car- 
bonell (1983 ，1986 ) 、Holyoak (1985)、Kedar-Cabelli (1988 ) 和 Thagard (1988) 。 对 发 现 和 理 
论 形成 感 兴趣 的 读者 可 以 看 《Scientific Discovery : Computational Explorations of the Creative Proces- 
ses》 (Langley et al. 1987) 和 《Computational Models of Scientific Discovery and Theory Formation》 
(Shrager and Langley 1990 ) 。《 Concept Formation. Knowledge and Experience in Unsupervised Learn- 
ing》 (Fisher et al 1991) 给 出 了 有 关 聚 类 、 概 念 形成 和 其 他 形式 的 无 监督 学 习 的 许多 论文 。 

ID3 在 机 器 学 习 界 有 很 长 的 历史 。Feigenbaum and Feldman (1963) 中 的 基本 感知 器 和 存储 器 
(EPAM) 用 一 种 称 为 差别 网 (discrimination net) 的 决策 树 来 组 织 无 意义 音节 的 序列 。Quinlan 是 
最 先 用 信息 论 在 决策 树 中 产生 孩子 结 点 的 。Quinlan 和 其 他 人 扩展 ID3 为 C4. 5， 并 解决 了 数据 中 
噪声 和 连续 属性 的 问题 (Quinlan 1996 ，Auer et al. 1995) 。Stubblefield 和 Luger (1996) 将 ID3 应 
用 于 改善 一 个 类 比 推理 系统 对 源 的 检索 的 问题 。 

Michie (1961) 和 Samuel (1959) 提供 了 强化 学 习 的 早期 的 例子 。 我 们 有 关 强 化 学 习 的 讨论 
很 多 来 源 于 Sutton 和 Barto (1998) 的 《Reinforcement Leaming》。 对 Q 学 习 更 详细 的 内 容 ， 推 荐 
Watkins (1989) 的 文章 ; 对 时 序 差分 学 习 的 分 析 ， 推 荐 Sutton (1988) 的 最 初 的 论文 ; 对 所 有 
强化 学 习 算法 的 更 形式 化 的 表述 ， 推 荐 Bertsekas 与 Tsitsiklis (1996) 的 《Neuro-Dynamic Program- 
ming》。 我 们 将 在 第 13 章 的 概率 学 习 中 再 次 讨论 强化 学 习 。 

《Machine Leaming》 是 这 个 领域 的 主要 期 刊 。 当 前 研究 的 其 他 来 源 包 括 机 器 学 习 的 国际 会 议 


需 10 音 基于 兴 呈 抱 机 器 学 习 313 








和 机 器 学 习 的 欧洲 会 议 的 年 度 会 议论 文集 ， 还 有 美国 人 工 知 能 协会 ( 现 为 人 工 智能 进展 协会 ) 
会 议和 国际 人 工 智能 联合 会 议 的 会 议论 文集 (对 机 器 学 习 领 域 问 题 的 最 新 更 新 ) 。 

第 11 章 给 出 了 连接 的 学 习 ， 第 12 章 给 出 了 社会 和 涌现 学 习 ， 第 13 章 给 出 了 动态 规划 和 概 
率 学 习 。 在 16. 2 节 讨论 学 习 中 的 归纳 偏 置 、 泛 化 以 及 学 习 中 的 其 他 限定 条 件 。 


10.9 习题 


1, 考虑 Winston 的 概念 学 习 器 在 学 习 概 念 “台阶 ”时 的 行为 ， 如 图 10-25 所 示 ， 一 个 台阶 由 一 个 矮 盒子 和 
一 个 高 盒子 放 在 一 起 而 组 成 。 创 建 表示 三 四 个 例子 和 小 差别 的 语义 网 ， 并 给 出 概念 的 扩展 。 


图 10-25 一 个 台 隐 


2. 图 10-9 所 示 的 候选 解 排除 算法 的 运行 ,没有 显示 产生 的 候选 概念 ， 而 是 产生 由 于 过 于 一 般 ， 或 过 于 特 
殊 ， 或 由 于 被 其 他 概念 包含 而 被 排除 的 候选 概念 。 重 新 做 一 次 执行 处 理 ， 显 示 这 些 概念 和 每 个 概念 被 排 
除 的 原因 。 

3. 用 Prolog 或 者 你 选择 的 其 他 语言 建立 变形 空间 搜索 算法 。 如 果 你 用 Prolog 或 Java， 可 以 在 补充 材料 中 获 
取 关 于 变形 空间 搜索 的 提示 。 

4. 用 10.4.3 节 中 的 信息 论 选 择 函数 ， 详 细 说 明 ID3 是 怎么 从 表 10-1 中 的 实例 建造 图 10- 14 中 的 树 的 。 一 
定 要 说 明 用 于 每 个 测试 的 信息 增益 的 计算 和 给 出 测试 选择 结果 的 计算 。 

5. 用 Shannon 的 公式 ， 说 明 有 关 轮 盘 赌 轮 结果 的 消息 是 否 比 有 关 硬 币 结果 的 消息 含有 更 多 的 信息 量 。 如 果 
轮 盘 赌 轮 消息 是 “不 是 00”， 结论 是 什么 呢 ? 

6. 为 某 个 领域 的 一 些 实例 建立 一 个 简单 的 表格 (例如 用 物种 对 动物 分 类 )， 并 通过 ID3 算法 建立 一 棵 决 
策 树 。 

7. 用 你 选择 的 一 种 语言 实现 ID3 算法 ， 用 课文 中 信用 历史 的 实例 来 运行 它 。 如 果 你 用 LISP， 可 以 考虑 参考 
15. 13 节 给 出 的 算法 和 数据 结构 。 

8. 讨论 用 数据 的 连续 属性 时 产生 的 问题 ， 如 货币 价值 ， 美 元 和 美 分 ， 或 者 一 个 实体 的 高 度 ， 一 个 实数 值 。 
提出 几 种 解决 连续 数据 问题 的 方法 。 

9. ID3 的 其 他 问题 是 坏 的 或 丢失 的 数据 。 如 果 一 个 属性 集合 有 两 个 不 同 的 结果 ， 那 么 数据 是 坏 的 。 如 果 缺 
少 部 分 数据 ， 可 能 是 获取 这 些 数据 的 代价 太 高 ， 则 数据 丢失 。ID3 算法 的 扩展 中 怎么 来 解决 这 些 问 题 ? 
10. 从 Quinlan (1993) 获取 C4.5 决策 树 算法 ， 并 在 一 数据 集 上 对 它 测试 。 这 篇 参考 文献 中 有 完整 的 程序 

和 能 用 于 C4. 5 的 数据 集 。 

11. 在 你 选择 的 一 个 问题 领域 建立 基于 解释 的 学 习 的 领域 理论 。 对 几 个 训练 实例 运用 这 些 理论 ， 说 明基 于 
解释 的 学 习 器 的 行为 。 

12, 用 你 选择 的 语言 实现 一 个 基于 解释 的 学 习 算法 。 如 果 你 用 Prolog， 考 虑 补充 材料 中 给 出 的 算法 。 

13. 考虑 10.7. 2 节 中 的 九宫 游戏 。 用 你 选择 的 语言 实现 时 序 差分 学 习 算法 。 如 果 你 设计 的 算法 把 问题 的 对 
称 性 考虑 在 内 ， 你 预计 会 出 现 什 么 情况 ? 它 怎 么 限制 了 你 的 解 ? 

14. 如 果 练 习 13 中 的 时 序 差分 算法 与 它 自身 玩 九宫 游戏 ， 会 出 现 什么 情况 ? 

15. 从 强化 学 习 的 观点 分 析 Samuel 的 西洋 跳棋 程序 。Sutton 和 Barto (1998，11. 2 节 ) 对 这 个 分 析 提 供 了 建 
议和 参考 。 

16. 你 能 从 强化 学 习 的 观点 分 析 倒立 摆 问 题 (8. 2. 2 节 中 图 8 -8 所 示 ) 吗 ? 在 你 的 分 析 中 ， 建 立 一 些 简 单 
的 奖励 度量 ， 并 运用 时 序 差分 算法 。 

17. 另外 一 个 适 于 强化 学 习 的 问题 类 型 是 所 谓 的 方 格 世界 。 在 图 10-26 中 我 们 给 出 一 个 简单 的 4 x4 的 方 格 
世界 。 两 个 灰色 的 角 是 主体 要 达到 的 最 终 状 态 。 在 所 有 其 他 的 状态 ， 主 体 的 移动 可 以 是 上 、 下 、 左 、 
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右 。 主 体 不 能 离开 方 格 移动 : 试图 离开 时 不 改变 状态 。 除 了 最 终 状态 ， 所 有 转移 的 奖励 是 -1。 基 于 
10.7.2 节 给 出 的 时 序 差分 算法 对 方 格 给 出 一 个 解 序列 。 参 见 第 13 章 中 关于 方 格 世 界 问题 的 更 多 
讨论 。 


r=-l 
对 所 有 转移 
动作 


图 10-26 一 个 4x4 方 格 世界 的 例子 
[摘自 Sutton 和 Barto (1998)] 
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11.0 简介 


第 10 章 重 点 介绍 了 基于 符号 学 习 方 法 。 这 种 假设 最 主要 的 特征 是 用 符号 来 表征 具体 领域 中 
的 对 象 和 关系 。 在 这 一 章 中 ， 将 介绍 受 神经 系统 或 生物 学 激励 的 学 习 方 法 。 

神经 元 激励 模型 ， 有 时 也 被 认为 是 分 布 式 并 行 处 理 (PDP) 系统 或 连接 系统 ,不 再 强调 运用 
符号 来 求解 问题 。 这 种 连接 主义 者 认为 智能 出 现在 这 种 简单 的 、 相 互 作用 的 部 件 (生物 的 或 人 
工 的 神经 元 ) 组 成 的 系统 中 ， 而 且 进 一 步 可 通过 学 习 和 调整 神经 元 之 间 的 连接 来 提高 系统 的 智 
能 。 系 统 的 处 理 过 程 分 布 在 神经 网 络 的 各 个 集合 或 层次 之 间 。 各 个 集合 或 层次 的 所 有 神经 元 同 
时 相互 独立 地 处 理 各 自 的 输入 ， 从 这 个 意义 上 说 神经 网 络 的 问题 求解 是 并 行 的 。 系 统 也 倾向 于 
适当 的 退化 ， 因 为 信息 和 处 理 分 布 在 整个 网 络 的 结 点 和 层 之 上 。 

然而 ， 在 这 种 连接 模型 中 无 论 在 创建 输入 参数 还 是 解释 输出 值 时 都 存在 一 个 强 表示 特性 。 
例如 ， 为 了 创立 一 个 神经 网 络 ， 设 计 者 必须 创造 一 种 编码 方法 来 把 现实 世界 中 的 模式 转变 成 网 
络 中 的 数字 量 。 编 码 方法 的 选择 决定 着 神经 网 络 的 学 习 的 成 败 。 

在 连接 系统 中 ， 处 理 都 是 并 行 和 分 布 式 的 ， 没 有 符号 系统 中 的 符号 处 理 。 领 域 中 的 模式 被 编 
码 成 数字 向 量 ， 组 件 之 问 的 连接 也 被 数字 值 所 代替 。 最 后 ， 模 式 的 转换 也 是 数字 操作 的 结果 一 一 
通常 用 矩阵 乘法 。 这 些 设计 者 对 于 连接 体系 结构 的 选择 就 构成 了 系统 的 归纳 偏 置 。 

应 用 这 些 技术 的 算法 和 体系 结构 一 般 使 用 训练 和 有 条 件 的 方法 而 不 是 直接 的 程序 设计 。 这 
也 是 这 种 方法 最 强 有 力 的 地 方 ; 一 种 恰当 设计 的 网 络 体系 结构 和 学 习 算 法 通常 不 是 通过 直接 运 
行 识别 现实 世界 中 的 不 变量 ， 而 是 通过 捕获 现实 世界 中 的 不 变量 ， 甚 至 以 奇怪 的 吸引 子 的 方式 
来 获取 这 些 不 变量 。 所 有 的 这 些 实现 方式 构成 本 章 的 主要 内 容 。 

连接 方法 应 用 最 多 的 领域 有 : 

分 类 ， 决 定 输入 的 值 属 于 哪个 类 别 或 组 ; 

模式 识别 ， 鉴 定数 据 中 的 模式 或 结构 ; 

存储 器 收回 ， 包括 内 容 可 寻 址 存储 器 的 问题 ; 

预测 ， 例 如 从 症状 诊断 疾病 ， 从 结果 推测 原因 ; 

优化 ， 如 寻找 有 约束 的 “最 好 ”组 织 ; 

嗓 声 过 滤 ， 如 从 背景 中 分 离 信号 ， 分 辨 信号 中 的 不 相干 因素 。 
以 上 的 这 些 问 题 用 这 章 介绍 的 方法 能 很 好 地 人 解决， 但 是 用 符号 模型 可 能 比较 困难 。 尤 其 是 对 于 
这 些 缺 乏 清晰 的 语法 定义 而 又 需要 基于 感知 的 技能 的 问题 。 

11.1 节 从 历史 的 角度 介绍 神经 元 激励 学 习 模 型 。 我 们 介绍 神经 网 络 学 习 的 各 种 构件 ， 包 括 
“机 械 ” 神 经 元 ; 描述 一 些 早期 的 重要 工作 ， 如 MeCulloch-Pitts (1943) 神经 元 。 从 60 多 年 来 神 
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经 网 络 训 练 范例 的 进展 中 ， 我 们 可 洞察 今天 该 领域 的 情况 。 

11.2 节 介绍 感知 机 学 习 和 delta 规则 。 我 们 将 描述 用 于 分 类 的 感知 机 的 例子 。11. 3 节 介 绍 有 
隐 含 层 的 神经 网 络 ， 以 及 反 传 (backpropagation) 学 习 规 则 。 为 了 解决 早期 系统 的 数据 非 线 性 可 
分 问题 ， 在 人 工 神经 网 络 开始 引信 了 上 述 的 方法 。 反 传 算法 用 连续 的 冰 值 对 多 层 系统 中 的 不 正 
确 响应 结 点 进行 修正 。 

11.4 节 介 绍 了 由 Kohonen (1984) 和 Hecht-Nielsen (1987) 提出 的 竞争 学 习 模型 。 在 这 种 模 
型 中 ， 网 络 权 值 向 量 表示 的 是 模式 而 不 是 连接 强度 。 胜 者 全 拿 算法 就 是 选择 模式 的 权 值 跟 输 入 
的 向 量 最 相似 的 结 点 ， 然 后 调整 这 个 结 点 的 模式 的 权 值 使 之 更 接近 于 输入 的 向 量 。 这 是 一 种 无 
监督 学 习 方法 ， 获 胜 结 点 的 选择 方式 是 通过 比较 模式 向 量 和 输入 向 量 的 相似 性 大 小 ， 最 相似 的 
就 是 获胜 结 点 。 在 一 个 神经 网 络 系统 中 组 合 Kohonen 和 Grossberg (1982) 模型 将 形成 一 个 有 趣 的 
刺激 -响应 学 习 模 型 ， 这 叫做 逆 传 (counter-propagation) 学 习 。 

11.5 节 介 绍 Hebb (1949) 的 加 强 学 习 模 型 。Hebb 认为 每 当 一 个 神经 元 对 另外 一 个 神经 元 的 
激活 有 贡献 时 ， 这 条 路 径 的 连接 强度 将 得 到 加 强 。Hebb 学 习 通过 一 个 调整 连接 强度 的 简单 算法 
实现 。 我 们 将 分 别 介绍 有 监督 和 无 监督 两 种 Hebbian 学 习 方 法 ， 及 一 种 从 记忆 中 检索 模式 的 基于 
Hebbian 规则 的 模型 。 

11.6 节 介绍 一 个 叫做 吸引 子 网 络 的 重要 网 络 结构 。 它 用 反馈 连接 在 网 络 中 不 断 循环 一 个 信 
号 。 它 的 输出 是 网 络 达到 稳定 时 的 状态 值 ， 网 络 的 权 值 被 创建 成 一 些 吸引 子 的 集合 ， 一 个 吸引 子 
范围 内 的 输入 模式 最 终 会 在 该 吸引 子 达 到 平衡 状态 。 因 此 这 种 吸引 子 通常 用 于 存储 记忆 中 的 模 
式 。 给 出 一 个 输入 模式 ， 网 络 将 取出 网 络 中 存储 的 最 相似 的 模式 或 者 是 与 网 络 中 存储 的 最 相似 
的 模式 相关 联 的 模式 。 第 一 种 记忆 类 型 叫做 自 相关 ， 第 二 种 叫做 异 相关 。 理 论 物 理学 家 John 
Hopfield (1982) 定义 了 一 类 吸引 子 网 络 ， 他 通过 最 小 能 量 函 数 使 网 络 系统 收敛 。Hopfield 网 络 
能 被 用 于 求解 约束 可 满足 问题 ， 例 如 巡回 推销 员 问 题 ， 方 法 是 将 优先 西数 映射 为 一 个 能 量 函 数 
( 见 11.6.4 节 )。 

在 第 12 章 介 绍 进化 学 习 模 型 ， 例 如 遗传 算法 和 人 工 生 命 ， 在 第 13 章 中 将 介绍 动态 规划 和 随 
机 学 习 模 型 。 我 们 讨论 学 习 理 论 方面 具有 代表 性 的 观点 和 流派 ， 在 16. 3 节 还 会 讨论 各 种 学 习 范 
型 的 优点 长 处 。 


11.1 连接 网 络 的 基础 


早期 历史 


连接 体系 结构 一 般 认 为 是 近期 发 展 的 ， 其 实 ， 它 可 追溯 到 早期 的 计算 机 科学 、 心 理学 以 及 哲 
学 工作 。 例 如 ，John von Neumann 就 对 细胞 自动 机 和 神经 元 激励 方法 计算 有 很 深 的 研究 。 早 期 神 
经 学 习 的 工作 曾 受 动物 学 习 的 生理 理论 的 影响 ， 尤 其 是 Hebb (1949) 的 理论 。 这 一 节 我 们 略 述 
神经 网 络 学 习 的 基本 组 成 成 分 ， 展示 这 个 领域 旱 期 工作 的 重要 意义 。 

最 基本 的 神经 网 络 是 如 图 11-1 的 人 工 神经 元 。 人 工 神经 元 包括 : 

输入 信号 Xi。 这 些 数据 可 能 来 自 环境 ， 也 可 能 来 自 其 他 神经 元 的 刺激 ， 不 同 模 型 所 允许 的 输 
人 参数 的 范围 也 是 不 同 的 ， 大 部 分 的 输入 是 离散 的 ， 如 从 集合 {1, 0} 或 { -1,1) 中 取 值 ， 也 有 取 
实数 值 的 。 

实数 权 值 Wi。 权 值 描述 连接 强度 。 

激励 层 王 Wix;。 激 励 层 就 是 求 取 输 入 层 的 输入 信号 和 相应 输入 线 上 连接 强度 wi 的 乘积 的 累 
加 。 因 此 ， 激 励 层 就 是 计算 输入 信号 的 带 权 和 ， 即 工 wixi。 
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益 值 台 数 f。 这 个 渔 数 计算 神经 元 的 最 终 状 态 或 者 说 是 输出 状态 ， 这 个 状态 由 激励 层 相 对 阐 
值 的 高 低 决定 。 这 个 阔 值 函数 一 般 产生 类 似 于 实际 神经 元 的 开 / 关 状态 。 





图 11-1 一 个 人 工 神经 元 、 输 入 向 量 x,、 每 条 输入 线 上 的 权 值 
以 及 用 来 确定 神经 元 输出 值 的 阔 值 函数 上 f 
注 : 将 本 图 与 图 1-2 中 的 实际 神经 元 进行 比较 


除了 这 些 单个 神经 元 的 性 质 ， 神 经 网 络 还 有 以 下 的 全 局 特性 : 

网 络 的 拓扑 结构 。 网 络 的 拓扑 结构 就 是 单个 神经 元 之 间 的 连接 模式 。 这 种 拓扑 结构 是 神经 
网 络 归纳 偏差 的 主要 来 源 。 

使 用 的 学 习 算 法 。 本 章 将 介绍 很 多 种 学 习 算 法 。 

编码 方法 。 这 包括 输入 数据 和 处 理 输出 结果 的 表示 和 解释 。 

最 早 的 神经 计算 例子 是 McCulloch-Pitts 神经 元 模型 (McCulloch and Pitts 1943 ) 。McCulloch- 
Pitts 神经 元 的 输入 只 是 +1 和 -1 两 个 值 ， 激 励 泪 数 就 是 对 输入 信号 和 相应 的 权 值 的 乘积 求 和 ， 
如 果 其 和 大 于 或 等 于 0， 则 神经 元 返回 +1， 否 则 ,返回 -1。McCulloch 和 Pitts 演示 了 怎样 用 这 
种 神经 元 构造 逻辑 函数 ， 认 为 这 种 神经 元 系统 提供 了 一 种 完整 的 可 计算 模型 。 

图 11-2 表示 的 是 计算 逻辑 函数 的 McCulloch-Pitts 神经 元 模型 。 这 个 神经 元 有 三 个 输入 : x 和 
y 是 逻辑 函数 的 变量 ， 第 三 个 是 一 个 常量 +1， 有 时 也 叫做 偏差 。 输 入 变量 和 偏差 各 自 对 应 的 权 
值 分 别 是 +1、+1 和 -2。 因 此 ， 对 于 任何 值 x 和 y， 这 个 神经 元 计算 表达 式 X+y-2 的 值 : 如 
果 这 个 值 小 于 0， 则 返回 -1， 否 则 是 +1。 表 11-1 展示 了 计算 xAy 的 神经 元 。 同 样 ， 如 图 11-2 
所 示 ， 除 非 x 和 yy 都 等 于 - 1， 否则 “或 ”神经 元 输入 数据 的 加 权 和 大 于 或 等 于 0。 
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图 11-2 计算 逻辑 函数 “与 ”和 “或 ”的 McCulloch-Pitts 神经 元 模型 


表 11-1 逻辑 “与 ”的 McCuiloch-Pitts 模型 
x+y—2 输出 





OO OO ~ |x 
OO 一口 |x 
1 
一 
上 

王 





尽管 MeCulloch 和 Pitts 展示 了 神经 计算 的 强大 力量 ， 但 是 直到 一 种 可 用 的 学 习 算 法 出 现 才 
使 得 神经 计算 得 到 莲 勃 发 展 。 早 期 的 学 习 模 型 大 都 从 心理 学 家 Hebb 的 工作 中 得 出 ，Hebb 认 
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为 大 脑 通 过 改变 神经 元 突 触 的 连接 强度 进行 学 习 ， 通 过 反复 刺激 这 种 突 触 来 增加 它 的 灵敏 度 ， 
使 得 今后 相似 的 刺激 能 得 到 有 效 响应 。 如 果 一 类 特殊 的 刺激 反复 激活 一 个 细胞 群 ， 这 些 细胞 
将 形成 很 强 的 相关 性 。 在 将 来 ， 相 似 的 刺激 会 激活 相同 的 神经 元 路 径 ， 从 而 识别 出 这 种 刺激 
( 见 Hebb 的 实际 描述 ，11. 5. 1 节 ) 。Hebb 的 学 习 模型 强调 的 只 是 增强 路 径 ， 而 忽视 了 对 错误 
和 和 矛盾 的 抑制 、 惩 罚 。 现 代 心 理学 家 试图 实现 Hebb 模型 ， 但 是 他 们 发 现 没有 另外 的 抑制 机 制 
就 得 不 出 通用 的 结果 (Rochester et al 1988 ，Quinlan 1991 ) 。 我 们 将 在 11. 5 节 讨 论 Hebb 学 习 
模型 。 

在 下 一 节 ， 将 在 神经 网 络 中 增加 相互 作用 的 中 间 层 ， 扩 展 McCulloch-Pitts 神经 元 模型 ， 它 最 
初 的 原型 叫做 感知 机 。 


11.2 感知 机 学 习 


11. 2.1 感知 机 训练 算法 


Frank Rosenblatt (1958 ，1962) 设计 了 感知 机 学 习 算 法 ， 感知 机 是 只 有 一 层 的 神经 网 络 。 
感知 机 的 信号 传播 方法 跟 McCulloch-Pitts 神经 元 模型 相似 《McCulloch-Pitts 神经 元 模型 在 
11.2.2 节 还 会 介绍 )。 感 知 机 的 输入 和 输出 值 都 是 1 或 者 -1; 权 值 是 实数 。 其 激励 层 就 是 计 
算 权 重 的 和 ， 王 Xx,w;。 感 知 机 的 阐 值 少数 是 一 个 简单 的 严格 限制 阐 值 函数 ， 当 激励 层 的 权 值 和 
大 于 阔 值 其 输出 就 是 1， 和 否则 是 - 1。 假如 输入 是 xi, 权 值 是 w, 阔 值 是 t， 则 感知 机 的 输出 值 计 
算 公 式 如 下 : 

1 如 果 王 Xiw 宇 t 

-1 如 果 xw <t 


感知 机 是 一 种 简单 的 有 监督 学 习 。 在 试图 解决 一 个 问题 实例 后 ， 教 师 会 给 出 正确 的 答案 。 感 
知 机 然后 改变 他 的 权 值 ， 减 少 其 误差 。 下 面 来 看 应 用 的 规则 。c 是 一 个 常数 ， 其 大 小 表示 学 习 
率 ，d 表示 期 望 的 输出 。 于 是 对 应 第 i 个 分 量 的 权 值 的 改变 量 Awi 如 下 : 


Awi = c(d — sign(Zxiwi)) Xi 


人 (三 XxiwW) 是 感知 机 的 输出 值 ， 其 值 取 +1 或 者 - 1。 期 望 输出 与 实际 输出 的 差 就 是 0、2 或 
者 -2。 因 此 ， 对 于 权 值 向 量 的 分 量 : 

如 果 期 望 输出 和 实际 输出 相同 ， 不 改变 权 值 ; 

如 果实 际 输出 是 -1 而 期 望 的 是 1， 则 对 第 i 个 分 量 增 加 2Cxi; 

如 果实 际 输出 是 1 而 期 望 的 是 -1， 则 对 第 1 个 分 量 减少 2cxi。 
这 个 过 程 将 慢 慢 地 减少 对 于 整个 训练 集 和 的 平均 误差 。 如 果 存 在 这 样 一 组 权 值 ， 它 使 每 一 个 训 
练 元 素 都 能 得 到 正确 的 输出 ， 则 感知 机 的 学 习 过 程 就 能 通过 学 习 得 到 这 样 的 值 (Minsky and Pap- 
ert 1969 ) 。 

感知 机 最 开始 得 到 了 很 好 的 发 展 ， 但 是 ，Nils Nilsson (1965) 和 其 他 学 者 分 析 了 感知 机 模型 
的 局 限 。 他 们 指出 感知 机 不 能 解决 一 类 叫 非 线性 可 分 的 问题 。 尽 管 在 那个 时 候 还 提出 了 很 多 改 
进 的 模型 ， 包 括 多 层 感 知 机 ， 但 是 ，Marvin Minsky 和 Seymour Papert 在 《Perceptrons》(1969) 一 
书 中 证 明了 这 样 一 个 结论 : 任何 感知 机 模型 都 不 可 能 解决 非 线性 可 分 问题 。 

一 个 线性 不 可 分 的 例子 是 异 或 。 表 11-2 是 表示 晃 或 的 真 值 表 。 

考虑 这 样 一 个 感知 机 ， 其 输入 为 x, 、x; 权 值 为 w,、w,; 靖 值 是 t。 为 了 学 习 这 个 函数 ， 这 
个 神经 网 络 必须 找到 这 样 一 组 值 ， 它 满足 如 下 的 不 等 式 方程 ， 见 图 11-3: 
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Wi *1+Ws *1<t, 真 值 表 的 第 一 行 。 
Wi *1+0 >t, 真 值 表 的 第 二 行 。 
0 +Ws * 1>t, 真 值 表 的 第 三 行 。 
0 +0 <t 或 t 为 正 数 , 最 后 一 行 。 


表 11-2 异 或 真 值 表 x 
Xl Xz 输出 O00, 1) 0,1) 








图 11-3 蜡 或 问题 
0 0 0 注 : 在 二 维 空间 中 没有 可 分 离 点 集 | (0,0)， 





(1,1)| 和 { (0,1)，(1,0)} 的 直线 


这 组 关于 w, wa 和 上 t 的 不 等 式 方程 组 没有 解 ， 这 就 证 明了 感知 机 不 能 解决 异 或 问题 。 尽 管 多 层 
神经 网 络 将 能 够 解决 异 或 问题 ( 见 11. 3. 3 节 ) ， 但 是 感知 机 学 习 算 法 只 能 工作 在 单 层 神经 网 络 上 。 

异 或 问题 不 能 用 感知 机 来 解决 的 原因 是 待 区 分 的 类 别 不 是 线性 可 分 的 。 这 可 从 图 11-3 中 看 
得 很 清楚 。 在 二 维 空间 中 不 可 能 画 出 这 样 的 直线 ， 这 条 直线 把 点 集 { (0,0), (1,1)} 和 {(0, 1), (1,. 
0) } 分开。 

可 把 输入 网 络 的 数据 集 当 作 一 个 空间 ， 每 一 个 输入 值 对 应 空间 中 的 一 维 ， 整 个 输入 就 构成 
空间 中 的 一 点 。 如 在 异 或 的 例子 中 ， 四 个 输入 值 构成 了 图 11-3 中 的 点 ， 坐 标 用 Xx, 和 x。 标记 。 于 
是 学 习 一 个 对 于 训练 集 的 分 类 器 的 问题 就 转换 成 了 一 个 把 点 集 分 离 成 两 个 组 的 问题 。 在 n 维 空 
闻 中 , 如 果 两 个 类 别 可 被 一 个 n -1 维 的 超 平面 分 离 , 则 这 个 分 类 是 线性 可 分 的 〈 在 二 维 空间 中 , n 
维 超 平面 是 直线 , 三 维 空间 中 是 一 个 平面 , 依 此 类 推 ) 。 

因为 线性 可 分 的 局 限 ， 很 多 学 者 转移 到 了 基于 符号 的 领域 ， 于 是 减 慢 了 连接 方法 学 的 发 展 。 
然而 ，20 世纪 80 年 代 和 90 年 代 的 研究 工作 又 表明 这 些 问题 是 可 解 的 ( 见 Ackley et al. 1985， 
Hinton and Sejnowski 1986 ，1987 ) 。 

在 11.3 节 ， 将 讨论 反 传 算法 ， 它 是 感知 机 学 习 算法 的 扩展 ， 工 作 于 多 层 神经 网 络 系统 。 在 
学 习 反 传 算法 之 前 ， 我 们 先 看 一 个 感知 机 用 于 分 类 的 例子 。 在 本 节 的 结尾 我 们 定义 了 通用 delia 
规则 ， 它 是 感知 机 学 习 算 法 的 泛 化 ， 在 包括 反 传 算法 的 很 多 神经 网 络 中 得 到 广泛 的 应 用 。 


11.2.2 例子 : 用 感知 机 网 络 进行 分 类 


图 11-4 是 分 类 问题 的 一 个 概述 。 从 可 能 的 问题 空间 中 选择 原始 数据 ， 然 后 变换 成 新 的 数据 / 
模式 空间 。 在 这 新 的 模式 空间 中 ， 空 间 特 征 被 确定 ， 最 后 ， 对 这 些 特征 所 表示 的 实体 分 类 。 例 如 
在 数字 记录 设备 中 声音 的 识别 。 通 过 设备 ， 有 关 声 音 的 信号 转换 成 振幅 和 频率 模型 集合 ， 最 后 ， 
分 类 系统 从 这 些 特征 中 识别 出 某 一 个 人 的 讲话 。 另 外 一 个 例子 : 通过 医疗 设备 〈 如 心脏 除 纤 普 
器 ) 获取 各 种 信息 ， 这 些 模式 空间 中 的 特征 就 用 于 根据 症状 特征 集 断 定 可 能 的 疾病 类 型 。 

在 我 们 的 分 类 例子 中 ， 图 11-4 所 示 的 转换 器 和 特征 抽取 器 就 是 把 问题 领域 信息 转换 成 二 维 
笛 卡 儿 空 间 的 模型 。 图 11-5 代表 了 在 表 11-3 由 感知 机 分 析 的 信息 的 二 性 特征 。 家 中 前 面 两 列 是 
网 络 进行 训练 的 样本 数据 ， 第 三 列表 示 类 别 +1 或 -1， 在 学 习 训 练 中 它 一 般 起 反馈 作用 。 图 11- 
”5 是 问题 训练 数据 的 二 维 平面 图 ， 从 中 可 看 出 ， 训 练 网 络 作 用 于 全 部 输入 数据 后 ， 一 个 线性 可 分 
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数据 类 就 产生 了 。 





一 > 类 
2 | 


特征 
图 11-4 一 个 全 面 的 分 类 系统 


表 11-3 感知 机 分 类 的 数据 集 








Xl Xx» 输出 
1.0 1.0 1 
9. 4 6. 4 -1 
2.5 2.1 1 
8.0 7.7 ~1 
0. 5 2.2 1 
7.9 8.4 一 1 
7.0 7.0 -1 
2.8 0.8 1 1 
1.2 3.0 1 ! 
图 11-5 表 11-3 中 数据 点 的 二 维 平面 图 
8 6.1 -1 注 : 11.2.1 节 介绍 的 感知 机 提供 了 此 数据 集 的 线性 分 离 


首先 我 们 讨论 一 般 的 分 类 理论 。 每 一 类 别 确定 的 数据 集合 都 可 表示 成 多 维 空间 中 的 一 个 区 
域 。 每 一 个 类 别 Ri 都 有 一 个 分 类 函数 gj ， 在 类 别 Ri 所 在 的 区 域 ， 分 类 函数 g 具有 最 大 值 : 

g:(X) >gi(x) 对 于 所 有 的 j,1 <j<n 

在 表 11-3 所 示 的 简单 例子 中 ,输入 数据 将 在 特征 空间 中 产生 两 个 明显 的 区 域 或 者 类 别 ， 一 
个 用 1 表示 ， 另 一 个 用 -1 表示 。 

有 一 类 重要 的 特殊 的 分 类 函数 是 判别 函数 ， 这 种 函数 根据 与 区 域 中 心 点 的 距离 评估 类 别 关 
系 。 基 于 这 种 函数 的 分 类 叫做 最 小 距离 分 类 。 一 个 简单 的 定理 表明 线性 可 分 问题 必 有 最 小 距离 
分 类 。 

如 果 类 别 Ri 和 月 相 邻 ， 就 如 图 11-5 中 的 两 个 区 域 ， 则 存在 一 个 明显 的 分 界 区 域 ， 在 此 处 判 
别 函 数 的 值 相等 : 

gi(X) =g(X) 或 gi(x) ~ g(xX) =0 

如 果 类 别 是 线性 可 分 的 ， 如 图 11-5， 分离 区 域 的 判别 函数 是 直线 ,或 说 g(x) - g(x) 是 线性 
函数 。 既 然 直线 是 到 两 个 固定 点 距离 相等 的 点 的 集合 ， 则 判别 函数 gi(x) gj(x) 是 最 小 距离 函数 ， 
度量 到 简 卡 儿 坐 标 区 域 中 心 点 的 虐 离 。 

图 11-6 所 示 的 感知 机 将 计算 这 样 的 线性 函数 。 它 有 两 个 输入 参数 ， 有 一 个 偏 置 值 ， 取 值 为 
常量 1。 感知 机 计算 : 


f(net) =f(w, * xi + Ws * xs + Ws * 1), f(x)} 是 x 的 符号 函数 
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f(x)=0iftx<0 


net =X1W1 + X2W2 + Wa fx) = 1 otherwise 






图 11-6 表 11-3 对 应 的 感知 机 网 络 
注 ; 阔 值 函数 是 线性 的 和 双 极 的 〈 见 图 11-7a) 

当 fx) 是 +1 时 ，x 被 解释 成 一 类 ， 当 是 -1 时 ， 被 解释 成 另 一 类 。 这 种 被 划分 为 +1 和 -1 
的 阐 值 称 为 线性 双 极 阐 值 〈( 见 图 11-7a) 。 偏 置 值 用 于 改变 在 水 平 轴 上 的 阐 值 函数 。 在 训练 的 过 
程 中 ， 这 种 改变 量 通过 调整 权 值 ws 进行 学 习 得 到 。 

现在 用 表 11-3 中 的 数据 去 训练 图 11-6 所 示 的 感知 机 。 假 定 任意 初始 化 权 值 向 量 为 【0.75， 
0.5，-0.6]j， 采 用 11.2.1 节 介 绍 的 感知 机 训练 算法 。 上 标 〈 如 fnet) ! 中 的 1) 训练 数据 表 中 
数据 的 指针 (或 说 数据 表 中 的 第 几 行 )。 我 们 从 数据 表 中 的 第 一 行 开始 : 

f(net)! =f(.75* 1 + .5*1- .6*1) =f(.65) = 1 

既然 人 (net) ”=1， 是 正确 的 输出 ， 并 不 需要 调整 权 值 。 因 此 ，W? = W'。 对 于 第 二 组 数据 : 

ftneb =f(.75* 9.4 + .5*6.4 - .6*1) = f(9.65) = 1 

这 次 的 期 望 输出 是 -1， 所 以 必须 应 用 11. 1. 1 节 所 述 的 学 习 规则 ; 

W' = Wi + c(dt-*1 -sign (Wt-1* Xt-1)) xt- 
其 中 c 是 学 习 常 数 ,X 和 W 是 输入 向 量 和 权 值 向 量 ,t 是 网 络 的 迭代 次 数 。d'-' 表 示 第 t-1 次 的 期 
望 输出 ， 在 我 们 现在 的 情形 中 t=2。 感 知 机 网 络 在 t=2 次 的 输出 是 1。 因 此 感知 机 网 络 的 期 望 输 
出 和 实际 输出 之 差 -sign(W? * X*) 是 -2。 实 际 上 ， 在 强 限制 的 双 极 感知 机 中 ， 学 习 增 量 要 么 
是 +2c, 要 么 是 -2c。 我 们 使 学 习 常 量 c 为 一 个 很 小 的 正 数 ， 取 值 为 0.2。 修 改 权 值 向 量 为 : 


0.75 9.4| [-3.01 
W3 = W2+0.2(-1-1)X2 = | 0.50|-0.4|6.4| = |_2.06 
0.60 1.0| |-1.00 








我 们 现在 用 刚 得 到 的 新 权 值 考虑 第 三 组 数据 : 
ftnet)3 = f(- 3.01* 2.5 — 2.06*2.1- 1.0*1) =f(-12.84) =_1 
同样 ， 这 次 的 输出 和 期 望 输出 不 一 样 。 对 Ws 进行 如 下 调整 : 


-3.01 2. -2.01 
W4 = W3+0.2(1-(-1TD))X3 = |-206|+0.4|21 = |_1.22 
-1.00 1.0 -0.60 














感知 机 网 络 经 过 10 次 训练 就 可 得 到 图 11-5 所 示 的 分 割 直 线 。 感 知 机 对 数据 集中 的 数据 进行 
大 约 500 次 左右 的 训练 后 ， 权 值 向 量 将 收敛 成 向 量 [ - 1.3，- 1. 1, 10. 9] 。 我 们 感 兴趣 的 是 两 类 线 
性 分 划 问 题 。 对 于 分 类 函数 9 和 gj ， 直 线 定 义 为 g(x) =g(x) 或 g(x) -g(x) =0 的 点 的 集合 ， 
也 就 是 说 ， 在 此 处 感知 机 网 络 的 输出 为 0。 感知 机 输出 公式 如 下 : 
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输出 =WiX1 十 WzXxa + Was 


f(x) f(x) f(x) 


1 1 1 和 大 
入 小 
x 0 x x 
-1 
a ) 强 限 制 和 双 极 性 b ) S 形 和 单 极 性 立 值 c ) S 形 、 偏 置 和 挤 和 的 阔 值 。 当 入 
的 线性 阅 值 变 大 时 ，S 形 阔 值 逼近 线性 阙 值 


图 11-7 阐 值 函数 
因此 ， 这 两 类 分 划 直 线 定义 为 如 下 线性 方程 : 
-1.3xxi+-1.1*xs+10.9=0 


11.2.3 通用 delta 规则 


扩展 感知 机 网 络 最 直接 的 方法 是 用 其 他 的 激励 函数 代替 强 限制 的 阐 值 函数 。 例 如 ， 连 续 的 
激励 函数 提供 更 好 的 误差 测量 粒度 ， 可 提供 更 精确 的 学 习 算法 。 

图 11-7 显示 了 一 些 阐 值 函 数 的 图 形 ; 图 11-7a 是 线性 双 极 阔 值 函数 ， 它 与 感知 机 中 使 用 的 
函数 相似 ; 还 有 两 个 S 形 函数 (因为 其 形 是 一 个 “S” 形 曲线 所 以 称 之 为 S 形 函数 )， 如 图 11-7b 
所 示 。 一 般 的 S 形 激励 函数 叫做 logistic 函数 ， 其 公式 如 下 : 


f(net) = 1/(1 + eneb, where net = Zxiwi 


和 前 面 定义 的 函数 一 样 ，x 是 第 i 行 的 输入 , w 是 对 应 第 i 个 输入 的 权 值 ， 和 是 一 个 “ 挤 压 参 
数 ” ， 它 用 于 调节 S 形 函数 曲线 。 当 入 取 值 增 大 时 ，S 形 函 数 在 区 间 [0, 1] 就 接近 线性 阐 值 函数 ; 
当 它 接近 1 时 ，S 形 函 数 就 接近 一 条 直线 。 

这 些 阐 值 图 绘制 出 输入 值 、 神 经 元 的 激励 水 平 ， 对 照 成 比例 的 神经 元 的 激励 或 输出 。S 形 
激励 函数 是 连续 函数 ， 它 允许 更 精细 的 误差 量度 。 像 强 限制 阅 值 函数 一 样 ，S 形 函 数 把 域 中 的 值 
映射 到 接近 0 或 1 的 区 域 。 然 而 ,在 0 和 1 之 间 有 一 个 快速 和 连续 的 转换 区 域 。 在 一 定 意义 上 ， 
当 提 供 连续 的 输出 时 ，S 形 函 数 在 行为 上 接近 E 
一 个 阔 值 函数 。 指 数 中 的 入 用 于 调节 在 转换 
区 域 中 S 形 函 数 图 形 的 坡度 。 加 权 偏差 改变 
了 沿 x 轴 的 阀 值 。 C 

具有 连续 激励 函数 的 神经 网 络 的 出 现 暗 W1 新 
示 了 一 种 新 的 降低 误差 的 学 习 方 法 的 来 临 。 

Widrow-Hoff (1960) 学习 规则 独立 于 激励 函 

数 ， 它 总 是 力求 减少 在 期 望 输出 和 网 络 实际 错误 平面 

输出 〈net = WX ) 之 间 的 误差 的 平方 。 也 许 Wi 

对 于 连续 激励 函数 来 说 最 重要 的 学 习 规则 是 

delta 规 则 (Rumelhart et al. 1986a)。 图 11-8 二 维 坐标 中 的 误差 曲面 (在 维 坐标 中 将 
直观 地 看 ，delta 规则 基于 误差 曲面 的 思 . 更 实际 更 形象 化 ) 

想 ， 如 图 11-8 所 示 。 所 谓 误差 曲面 就 是 神经 注 ; 常数 。 指 示 了 学 习 步 幅 的 大 小 
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网 络 权 的 函数 在 数据 集 上 的 累计 误差 。 每 一 个 神经 网 络 权 值 向 量 都 对 应 n 维 误差 曲面 中 的 一 个 
点 。 给 出 一 个 权 值 向 量 ， 我 们 希望 通过 学 习 算 法 在 这 个 曲面 上 找到 一 个 方向 ， 沿 这 个 方向 误差 减 
少 得 最 快 。 因 为 梯度 是 图 形 陡峭 程度 的 度量 ， 所 以 这 种 方法 叫做 梯度 下 降 学 习 。 

应 用 delta 规则 时 ， 神 经 网 络 的 激励 函数 必须 是 连续 的 和 可 微分 的 。 刚 才 介 绍 的 logistic 公式 
具有 这 种 性 质 。delta 学 习 规则 调整 第 i 个 神经 元 结 点 的 第 j 个 输入 权 值 的 公式 如 下 ，; 


C (di 一 O)) 全 (net) Xi 


其 中 c 是 控制 学 习 率 的 常数 , d 和 O, 是 第 i 个 结 点 的 期 望 输出 和 实际 输出 ,第 i 个 结 点 的 激励 函数 
的 导数 是 ff, xi 是 结 点 i 的 第 j 个 输入 。 现 在 求 这 个 公式 的 导数 。 
中 间 的 平方 神经 网 络 误差 是 每 一 个 结 点 误差 的 平方 和 ， 


Error = (1/2) 之 (di -Op 
1 


其 中 d 是 输出 结 点 的 期 望 输出 ，O, 是 结 点 的 实际 输出 。 因 为 单个 的 误差 有 可 能 取 正 值 ， 也 有 可 能 
取 负 值 ， 为 了 不 让 它们 的 值 相 互 抵 消 ， 对 单个 误差 取 平 方 。 

这 里 考虑 结 点 在 输出 层 的 情况 ; 在 11.3 节 介绍 含 隐 含 层 的 神经 网 络 时 将 考虑 一 般 的 情况 。 
首先 ， 我 们 必须 度量 那个 输出 结 点 的 网 络 误差 的 变化 率 ， 为 此 ， 我 们 应 用 偏 导数 的 概念 ， 在 多 变 
量 的 函数 中 ， 偏 导数 给 出 了 某 个 特殊 变量 的 变化 率 。 对 于 总 误差 中 结 点 i 的 偏 导数 是 : 


dError - O12)*2(d -OF -9(12)*(dj-OD2 

99i 90 99i 
因为 我 们 考虑 的 输出 层 中 的 结 点 的 误差 并 不 影响 任何 其 他 的 结 点 ， 因 此 二 次 简化 是 可 能 的 。 根 
据 偏 导数 的 这 个 性 质 ， 可 得 到 : 

ad)*(di-OD” = -(di- On 


30i 


我 们 所 需要 的 是 网 络 的 误差 与 结 点 i 的 权 值 的 变化 量 的 函数 。 为 了 得 到 特定 权 值 w, 的 变化 
量 ， 我 们 要 用 到 偏 导数 ， 这 次 是 取 结 点 的 误差 对 相应 结 点 的 权 值 w 的 偏 导数 。 下 面 等 式 右边 的 
展开 是 根据 偏 导 数 的 链 规则 得 到 的 


QError = Erer,99i 
9wk 90 OwWk 


这 给 了 我 们 解 这 个 方程 所 需要 的 各 部 分 。 根 据 前 面 的 结果 ， 可 得 到 : 


9Error = -(d;—O)*30 
awl 9wWk 


我 们 继续 考虑 右边 的 因素 ， 偏 导数 是 结 点 | 的 实际 输出 对 相应 结 点 的 权 值 的 偏 导 数 。 结 点 i 
的 输出 式 是 它 的 权 值 的 函数 ， 如 下 : 

Oi = f(WX;), where WiXi = neti 
由 于 f 是 连续 函数 ， 对 它 求 导 数 得 到 ; 


9Oi = xkxf(WiXi) = f(net)*xk 
Owk 
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代入 前 面 的 方程 得 到 : 
9Error 到 -(di 4 Oi)f (neti)*xk 
9wWk 


误差 最 小 化 需要 权 值 变化 的 方向 是 对 应 的 梯度 分 量 的 负 方 向 。 因 此 有 : 


Awk = -c9Eror = -c[-(dj-Oj)*f(net)*xk] = c(d-OD)fCneti)*xk 

90wWk 

显然 ，delta 规则 类 似 于 朴 山 法 〈 见 4.1 节 ) ， 在 每 一 步 中 通过 导数 寻找 在 误差 曲面 中 某 个 特 
定点 局 部 区 域 的 斜率 ， 它 总 是 应 用 这 个 斜率 试图 减 小 局 部 误差 ， 因 此 ，delta 学 习 不 能 区 分 误差 
空间 中 的 全 局 最 小 点 和 局 部 最 小 点 。 

从 对 图 11-8 进一步 的 分 析 可 知 ， 学 习 常数 c 对 delta 学 习 规 则 的 性 能 有 很 重要 的 影响 。 学 习 
常数 c 决定 了 在 单个 学 习 事 件 中 权 值 变化 的 快慢 ，c 的 取 值 越 大 ， 则 权 值 朝 最 优 值 移动 的 速度 也 
越 快 。 然 而 ， 如 果 c 值 取得 太 大 ， 则 算法 有 可 能 越过 最 优 值 或 者 在 最 优 值 附近 震 范 。 如 果 c 取 值 
较 小 ， 这 种 可 能 性 不 大 ， 但 是 它 会 使 系统 学 习 的 速度 不 快 。 学 习 率 的 最 优 值 有 时 加 上 一 个 动态 因 
子 (Zurada 1992) ， 成 为 一 个 可 随 着 应 用 变化 而 调整 的 参数 。 

尽管 delta 规则 本 身 不 能 克服 单 层 神经 网 络 的 局 限 ， 但 是 它 的 一 般 形式 是 反 传 算法 的 核心 ， 
反 传 算法 是 多 层 神经 网 络 中 的 学 习 算 法 。 这 种 算法 将 在 下 一 节 介 绍 。 


11.3 反 传 学 习 


11.3.1 反 传 算法 的 起 源 


从 上 面 两 节 可 看 到 ， 单 层 神经 网 络 局 限于 它们 所 能 做 的 分 类 , 在 11.3 节 和 11.4 节 表 明 多 层 
神经 网 络 能 克服 很 多 这 样 的 局 限 。 在 16. 3 节 可 看 到 多 层 神 经 网 络 是 完全 可 计算 的 ， 也 就 是 说 与 
图 灵机 类 是 等 价 的 。 然 而 ， 早 期 的 研究 人 员 不 能 设计 出 供 多 层 神经 网 络 使 用 的 学 习 算法 。 我 们 这 
节 介绍 泛 化 的 delta 规则 ， 它 能 解决 这 个 问题 。 

多 层 神 经 网 络 〈 见 图 11-9) 中 的 神经 元 层 与 层 之 间 是 相互 连接 的 ， 第 n 层 的 神经 元 只 传递 
其 刺激 到 第 n+1 层 的 神经 元 。 多 层 信 号 处 理 意味 着 分 散在 网 络 中 的 误差 可 通过 连续 的 网 络 层 ， 
以 复杂 的 不 可 预测 的 方式 传播 和 变化 。 因 此 ， 输 出 层 的 误差 源 的 分 析 变 得 很 复杂 。 反 传 算法 可 分 
配 误差 ， 然 后 调整 相应 的 权 值 。 





图 11-9 含 隐 含 层 的 连接 网 络 中 的 反 传 
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反 传 算 法 采用 的 方法 是 从 输出 层 开始 ， 通 过 隐 含 层 反 向 传播 误差 。 当 我 们 分 析 delta 学 习 方 
法 时 ， 可 看 到 更 新 一 个 神经 元 的 权 值 所 需要 的 信息 局 限于 神经 元 的 局 部 范围 ， 误 差 总 量 除外 。 对 
于 输出 结 点 ， 计 算 期 望 输出 和 实际 输出 之 差 是 比较 容易 的 。 对 于 隐 含 层 的 结 点 ， 决 定 一 个 结 点 引 
起 的 误差 是 比较 困难 的 。 反 传 算法 的 激励 函数 通常 是 logistic 函数 : 


f(net) = 1/(1 + e net), 其 中 net = ZXxiwi 


用 这 个 函数 有 四 个 理由 : 第 一 ， 它 有 S$ 形状 ; 第 二 ， 它 是 处 处 都 可 导 的 连续 函数 ; 第 三 ， 既 然 S 
形 函 数 变化 最 快 的 地 方 导 数值 也 最 大 ， 因此 很 多 误差 的 分 配 都 可 归结 于 那些 激励 最 不 确定 的 结 
点 ; 最 后 ， 导 数 很 容易 通过 减法 和 乘法 计算 得 到 : 


f (net) =1/(1 + enet) =X(f(net) * (1 — f(net))) 


反 传 训练 使 用 泛 化 的 delta 规则 。 同 样 的 使 用 11. 2 节 介 绍 的 梯度 下 降 法 。 对 于 隐 含 层 的 结 点 我 们 
考察 其 对 输出 层 误 差 的 贡献 。 计 算 权 值 w。( 表 示 从 结 点 k 到 结 点 i 的 连接 的 权重 ) 的 调整 量 的 
公式 如 下 : 


1) Awk =-c(d-O)*Oi(l- Qi) xk， 输 出 层 结 点 


2) Awki = -CcC*Oi(1 一 i) 之 (- deltaj * Wi) xk, 隐 含 层 的 结 点 
j 


在 2) 式 中 , j 是 结 点 i 输出 信号 所 到 达 的 下 一 层 的 结 点 的 标号 ,还 有 : 


delta = -QError = (di— Oi)*O;(1 — OO)) 
onet 


我 们 现在 求 这 些 公式 的 导数 。 首 先导 出 1) 式 ， 输 出 层 结 点 权 值 调整 量 的 公式 。 和 前 面 的 相 
同 ， 我 们 所 需要 的 是 网 络 误差 的 改变 率 与 结 点 | 的 第 k 个 权 值 w 的 函数 。 在 11. 2. 3 节 中 对 delta 
规则 求 导 时 处 理 了 这 种 情况 ， 公 式 如 下 : 


EE = (di- OD*f (net)*Xxp) 


由 于 ff 可 以 是 任意 函数 ,我 们 这 里 取 logistic 激励 函数 ， 导 数 如 下 : 
f' (net) =f' (1/(1 + er net)) =f (net) * (1 ~f (net)) 
还 有 fnet,) 等 于 O;， 代 入 上 面 的 方程 得 到 : 


9Error = -(dj-O)*Oi*(1-O)*xk 
dwWk 
既然 误差 的 最 小 化 要 求 权 值 变 化 的 方向 是 梯度 向 量 的 负 方 向 ， 我 们 乘 以 常数 -c 得 到 输出 层 
第 i 个 结 点 的 权 值 调 整 量 : 
Awk= cl(di-ol*QOi*(1-OD*Xk 
下 一 步 我 们 推导 隐 含 层 结 点 的 权 值 调整 量 。 为 了 简单 起 见 假 设 只 有 一 个 隐 含 层 。 我 们 考虑 
隐 含 层 中 的 结 点 1， 分 析 它 对 整个 网 络 误差 的 贡献 。 首 先 ， 我 们 考虑 结 点 | 对 输出 层 结 点 j 的 误差 


的 贡献 , 然后 对 所 有 输出 层 结 点 误差 贡献 求 和 。 最 后 , 我 们 考察 结 点 i 的 第 k 个 输入 权 值 对 网 络 误 
差 的 贡献 。 图 11-10 表明 了 这 种 情况 。 
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我 们 首先 计算 网 络 误差 对 隐 含 层 结 点 i 的 输出 的 偏 导数 ， 应 用 链 式 法 则 可 得 : 


9Error = aError 9net 
0Oi onet 9Oi 


输出 层 Oi1 Oz2 O 。。。 j O 
等 式 右边 第 一 项 ( 3Error)/(anet) 的 


相反 数 是 delta ， 因 此 ， 等 式 可 化 为 : 
AError = -deltaj onet 
9Oi 009i 
输出 层 结 点 j 的 输入 刺激 net 是 隐 含 输入 层 
层 中 所 有 结 点 的 输出 与 权 值 乘积 的 总 和 : 


netj 三 Zwio 
1 





图 11-10 对 -deta * Wi 是 结 点 1 对 输出 错误 的 总 贡献 


由 于 偏 导数 只 考虑 总 和 中 的 一 个 分 注 ， 导数 表示 了 wu 的 调整 


量 ， 也 就 是 结 点 | 和 结 点 j 的 连接 权重 ， 可 得 : 
9neti 三 Wi 
0 |! 


此 处 的 Wi 是 隐 含 层 的 结 点 i 到 输出 层 结 点 j 的 连接 权 值 ， 变 量 代 换 得 : 
dror 三 -delta xwi 
现在 ， 总 结 所 有 结 点 i 到 输出 层 结 点 的 连接 : 
9Eror = deltajrwWi 
5 > eltaj* wi 
这 就 表示 网 络 误差 对 隐 含 层 结 点 i 的 灵敏 度 。 下 一 步 将 确定 delta ， 网 络 误差 对 隐 含 层 结 点 i 的 激 
励 函 数 的 灵敏 度 。 这 就 给 出 了 网 络 误差 对 隐 含 层 结 点 i 的 输入 权 值 的 灵敏 度 。 再 用 链 式 法 则 
可 得 : 
-deltai = 9Error = 99i 


炒 一 -一 上 


oneti 0 “anet 
由 于 我 们 用 logistic 激励 函数 ， 


90; = O*(1-0O)) 
oneti 


把 这 个 值 代 入 delta, 的 方程 ， 得 到 ; 

-deltai = Oi*(1- -07 之 -denta *Wij 

最 后 ， 计 算 输出 层 结 点 的 网 络 误差 对 隐 含 层 结 点 输入 权 值 的 灵敏 度 。 考 察 结 点 i 的 第 kK 个 输 
人 权 值 ws， 由 链 式 法 则 得 : 


3Error = dError, anet 


= -deltaixoneti = -deltai*xk 
oOwki oneti Wk 


Wh 
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其 中 xx 是 结 点 | 的 第 k 个 输入 。 
代 人 -delta, 的 值 可 得 到 ， 
9Error = Oi(1- “ODZ Cdetta, *Wij)Xk 
OWki 


由 于 误差 最 小 化 要 求 权 值 变化 的 方式 为 梯度 向 量 的 负 方向 ， 对 结 点 1 的 第 k 个 权 值 的 调整 量 
乘 以 一 个 负 的 学 习 常量 ， 


Awki = -c9Error = cxO(1 -O01) (deltaj*wi)xk 
OWki j 
对 于 超过 一 个 隐 含 层 的 神经 网 络 ， 同 样 的 过 程 递归 调用 把 误差 从 第 n 层 传递 到 第 n -1 层 。 
尽管 反 传 算法 对 多 层 神 经 网 络 的 学 习 问题 提供 了 解决 办 法 ,但 是 ， 它 也 有 其 自身 的 缺点 。 因 
为 它 是 扑 山 法 ， 有 可 能 收敛 于 局 部 最 小 值 (如 图 11-8 所 示 ) ， 最 后 ， 反 传 算法 计算 的 代价 很 高 ， 
尤其 是 当 网 络 收敛 很 慢 时 。 


11. 3.2 反 传 算法 实例 1: NETtalk 


NETtalk 是 用 神经 网 络 解决 困难 学 习 问 题 的 有 趣 的 例子 (Sejnowski and Rosenberg 1987 ) 。 
NETtalk 学 习 朗 读 英语 文本 。 因 为 英语 发 音 是 非常 不 规则 的 ， 对 于 符号 系统 (例如 基于 规则 的 系 
统 ) 这 是 一 个 很 难 的 问题 。 

NETtalk 学 习 朗 读 一 个 文本 字符 串 ， 返回 一 个 音素 和 相关 的 字符 串 中 每 一 个 字母 的 重音 。 音 
素 是 一 种 语言 发 音 中 的 基本 元 素 ; 重音 是 相关 的 声音 的 大 小 。 因 为 单个 字母 的 发 音 与 上 下 文 和 
它 周围 的 字母 有 关 ，NETtalk 使 用 一 个 有 7 个 字母 的 窗口 。 当 文本 经 过 窗口 时 ，NETtalk 返回 每 一 
个 字母 的 音素 /重音 对 。 

图 11-11 是 NETtalk 的 结构 。 网 络 有 三 层 ， 输 入 单元 对 应 文本 窗口 中 的 7 个 字母 。 窗 口中 的 
每 一 个 位 置 用 29 个 输入 单元 表示 ， 一 个 单元 表示 字母 表 中 的 字母 ，3 个 单元 表示 标点 和 空格 。 
每 一 个 位 置 的 字母 激活 相应 的 结 点 。 输 出 单元 用 人 类 发 音 的 21 个 特征 对 音素 进行 编码 。 剩 下 的 
5 个 单元 对 重音 和 音素 边界 编码 。NETtalk 有 80 个 隐 含 单元 ，26 个 输出 值 ， 以 及 18 629 个 连接 。 


26 个 输出 单元 2 NS 


80 个 隐 含 单元 OOOOOOCOOOOOOOOOOCOO 


NS 
的 


图 11-11 NETtalk 的 网 络 拓扑 图 


对 NETtalk 进行 训练 时 ， 给 定 一 个 7 个 字母 的 窗口 ， 学 习 党 试 对 中 间 的 字母 发 音 。 然 后 拿 它 
跟 正 确 的 发 音 比较 ， 用 反 传 算法 调整 网 络 的 权 值 。 

这 个 例子 显示 了 神经 网 络 的 很 多 特性 ， 其 中 一 些 特性 反映 了 人 类 学 习 的 本 质 。 例 如 ， 当 我 们 
用 正确 反应 的 百分比 度量 时 ， 学 习 首 先 速度 很 快 ， 然 后 当 正 确 反 应 率 增 大 时 ， 学 习 速 度 变 慢 。 与 
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人 一 样 ， 网 络 学 习 发 音 的 单词 越 多 ， 它 对 陌生 单词 的 反应 就 越 正 确 。 有 这 样 的 实验 ， 对 充分 训练 
的 神经 网 络 的 权 值 进行 随机 改变 ， 实 验 表 明 当 权 值 改变 时 ， 网 络 将 有 抗 破坏 性 ， 将 慢 慢 退化 。 研 
究 者 也 发 现 受 损 网 络 的 重新 学 习 是 高 效 的 。 

第 二 个 很 有 意思 的 特点 是 多 层 神 经 网 络 中 隐 含 层 的 角色 。 任 何 学 习 算 法 必须 学 习 泛 化 ,也 
就 是 能 应 用 于 问题 领域 中 未 知 的 实例 。 隐 含 层 在 神经 网 络 的 泛 化 中 起 了 很 重要 的 作用 。 跟 其 他 
的 反 传 网 络 一 样 ，NETtalk 的 隐 含 层 比 输入 层 的 神经 元 数 少 。 这 意味 着 在 模式 的 训练 中 隐 含 层 中 
很 少 的 结 点 用 于 信息 编码 ， 并 且 其 中 有 一 些 抽象 过 程 发 生 。 这 种 很 少 的 编码 方式 表明 ， 在 输入 层 
不 同 的 模式 可 映射 到 隐 含 层 中 的 同一 个 模式 。 这 种 简化 就 是 泛 化 。 

NETtalk 的 学 习 是 有 效 的 ， 尽 管 它 需 要 大 量 的 训练 实例 。 反 传 算法 和 ID3 算法 的 一 系列 的 试 
验 比较 表明 (Shavlik et al. 1991) ， 尽 管 两 者 训练 和 使 用 数据 的 方法 不 同 ， 但 是 其 结果 是 一 样 的 。 
ID3 ( 见 9.3 节 ) 和 NETtalk 在 经 过 500 个 例子 的 训练 后 ， 能 对 训练 数据 中 的 60% 进行 正确 的 发 
音 。 但 是 ，ID3 对 训练 数据 只 需要 使 用 一 次 ， 而 NETtalk 却 需要 多 次 反复 使 用 训练 数据 。 在 这 个 
研究 中 ，NETtalk 对 训练 数据 使 用 了 100 次 。 

我 们 的 例子 表明 ， 连 接 和 符号 学 习 之 间 的 关系 比 我 们 开始 看 到 的 复杂 得 多 。 在 下 一 个 例子 
中 ， 我 们 用 反 传 算法 解决 异 或 问题 。 


11. 3.3 反 传 算法 实例 2:， 异 或 


本 节 我 们 提出 一 个 简单 的 隐 含 层 来 解决 异 或 问题 。 如 图 11-12， 该 网 络 有 两 个 输入 结 点 、 一 
个 隐 含 结 点 和 一 个 输出 结 点 。 该 网 络 还 有 两 个 偏 置 结 点 : 第 一 个 到 隐 含 层 结 点 ,第 二 个 到 输出 层 
结 点 。 网 络 中 隐 含 层 结 点 和 输出 层 结 点 的 值 计 算 方 法 如 通常 所 用 方法 ， 即 输入 数据 与 其 训练 权 
值 的 向 量 乘积 。 偏 置 值 加 入 总 和 中 。 权 值 用 反 传 算法 进行 训练 ， 激 励 函 数 是 S 形 函 数 。 

需要 指出 的 是 : 输入 结 点 连同 已 训练 结 点 也 和 输出 结 点 直接 相连 。 这 种 额外 的 连接 通常 可 
使 网 络 隐 含 层 所 需 结 点 更 少 ， 收 敛 速度 更 快 。 实 际 上 ， 图 11-12 所 示 网 络 没有 任何 特殊 ; 还 有 很 
多 其 他 的 网 络 可 用 于 解决 异 或 问题 。 





图 11-12 反 传 网 络 解决 异 或 问题 
注 : Wi 是 权 值 ，H 是 隐 含 结 点 


先 任意 初始 化 网 络 权 值 ， 然 后 用 异 或 真 值 表 中 所 示 的 模式 训练 该 网 络 : 


(0,0)—0; (1.0) 一 1 (01) 一 1(11) 一 0 


用 上 面 4 个 实例 经 过 1400 次 训练 循环 产生 下 面 的 权 值 ， 其 中 最 接近 的 10 个 ， 即 图 11-12 中 的 加 
权 参 数 : 


WH1=-7.0 WHe=26 Wo1=-5.0 Won=-11.0 
WH2 = -7.0 WoeB = 7.0 Wo> = -4.0 


输入 数据 〈0,0) ， 隐 含 层 结 点 的 输出 是 : 
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f(0*(—7.0) + 0*(-7.0) + 1*2.6) = f(2.6) 一 1 
对 于 《0,0) ， 输 出 层 结 点 的 输出 是 : 
(0*(-5.0) + 0*(—4.0) + 1*(—11.0) + 1*(7.0)) = f(-4.0) > 0 
对 于 (1,0) ， 隐 含 层 的 输出 是 ， 
f(1*(-7.0) + 0*(-7.0) + 1*2.6) =f(-4.4) -0 
对 于 (1,0) ， 输 出 层 结 点 的 输出 是 : 
f(1 (5.0) + 0*(-4.0) + 0*(—11.0) + 1*(7.0)) = f(2.0) 一 1 


输入 值 (0,1) 是 相似 的 。 最 后 ， 我 们 用 输入 值 (1,1) 检验 异 或 神经 网 络 ， 其 隐 含 结 点 的 
输出 是 : 


f(1(-7.0) + 1*(-7.0) + 1*2.6) = f 人 -11.4) 一 0 
输出 层 结 点 的 输出 是 : 
(1*(-5.0) + 1*(-4.0) + 0*(~11.0) + 1*(7.0)) = f(-2.0) ->0 


读者 到 此 就 可 看 到 ， 反 传 算法 的 反馈 神经 网 络 可 解决 非 线 性 可 分 的 问题 。 激 励 函 数 是 S 形 函 
数 〈 图 11-7b) ， 学 习 到 的 偏 置 值 使 它 在 x 轴 上 极 轻微 地 向 正方 向 转变 。 
下 面 思考 竞争 学 习 模 型 。 


11.4 ”竞争 学 习 


11. 4. 1 对 于 分 类 的 “ 胜 者 全 拿 ” 学 习 


“ 胜 者 全 拿 ” 算 法 (Kohonen 1984，Hecht- 
Nielsen 1987) 作用 于 一 层 结 点 中 单个 的 结 点 ， 而 
这 一 结 点 对 输入 模式 有 强烈 的 反应 。“ 胜 者 全 拿 ” 
可 被 看 成 是 一 个 网 络 结 点 集合 中 的 竞争 ， 如 图 
11-13。 在 这 个 图 中 ,输入 向 量 值 X = (Xi, Xs, …， 
xn) 输 入 网 络 中 包含 结 点 A, B, …, N 的 网 络 层 。 该 
图 显示 结 点 B 是 竞争 获胜 者 ， 其 输出 是 信号 1。 

“ 胜 者 全 拿 ” 是 无 监督 学 习 ， 获 胜 者 是 通过 
“最 大 响应 ”测试 决定 的 。 获 胜 者 的 权 值 向 量 将 得 图 11-13 应 用 “ 胜 者 全 拿 ” 算 法 的 网 络 层 
到 奖励 : 它 的 每 一 个 分 量 都 向 输入 向 量 靠近 。 对 注 ， 旧 输入 向 量 支持 获胜 结 点 
于 获胜 者 的 权 值 向 量 W 和 输入 向 量 X， 其 增 量 为 : 


AWt= c(Xt1 -Wi-1) 


其 中 c 是 学 习 常 量 ， 取 一 个 很 小 的 正 值 ， 并 且 其 值 随 着 学 习 过 程 减 少 。 获 胜 者 的 权 值 向 量 于 
是 通过 增加 入 W 来 调节 。 

获胜 结 点 权 值 向 量 的 每 一 分 量 的 增加 量 或 减少 量 取决 于 X% - wi, 的 值 。 当 然 ， 其 结果 是 使 获 
胜 结 点 更 好 匹配 输入 向 量 。“ 胜 者 全 拿 ”算法 并 不 需要 直接 计算 激励 函数 的 值 以 找 出 最 大 响应 结 
点 。 对 于 结 点 1 (规范 化 权 值 向 量 为 Wi) 和 输入 向 量 X， 激 励 值 WX 是 Wi 和 输入 模式 X 之 间 的 
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欧 拉 距离 的 函数 。 这 通过 计算 欧 拉 距 离 可 以 看 出 : 


IX—Wil = VX- Wh? = VX2_-2XWi+Wi2 


从 这 个 等 式 可 看 出 ， 对 一 组 规范 化 的 权 值 向 量 ， 如 果 一 个 权 值 向 量 和 X 的 欧 拉 距 离 1X-W | 
最 小 ， 则 它 有 最 大 的 激励 值 WX。 在 很 多 情况 下 ， 对 于 规范 化 的 权 值 向 量 ， 通 过 计算 网 拉 距 离 比 
通过 比较 激励 水 平 来 决定 获胜 者 更 有 效率 一 些 。 

我 们 认可 “ 胜 者 全 拿 ” Kohonen 学 习 规则 有 很 多 理由 。 第 一 ,我 们 把 它 当 作 分 类 方法 ， 用 它 
与 感知 机 分 类 比较 。 第 二 ， 可 用 它 与 其 他 的 网 络 体系 结构 组 合 ， 形 成 更 加 复杂 的 学 习 模型 。 我 们 
将 看 到 Kohonen 学 习 原型 与 outstar (一 种 有 监督 的 学 习 网 络 ) 的 组 合 模型 。 这 种 混合 物 叫 做 着 伟 
网 络 ， 首 先 由 Robert Hecht- Nielsen (1987，1990) 提出 。 在 11.4.3 节 ， 将 看 到 怎样 用 逆 传 描述 
有 条 件 的 学 习 。 

在 这 个 介绍 之 前 ， 还 有 很 多 对 于 “ 胜 者 全 拿 ”算法 重要 的 论点 。 为 了 防止 某 个 结 点 总 是 不 
能 成 为 获胜 结 点 ， 有 时 在 循环 中 设置 和 更 新 “意识 ”参数 。 这 样 可 保证 网 络 中 的 所 有 结 点 可 最 
终 参 与 表示 模式 空间 。 在 一 些 算法 中 ， 不 是 一 个 结 点 获胜 ， 而 是 一 组 结 点 都 获胜 ， 然 后 它们 的 权 
值 都 将 得 到 不 同 程度 的 增 量 。 另 外 一 种 方法 是 对 获胜 结 点 周围 的 结 点 给 予 不 同 回报 。 权 值 开始 
被 任意 地 初始 化 ， 然 后 在 学 习 中 逐步 规范 化 (Zurada 1992) 。Hecht-Nielsen (1990) 表明 了 “ 胜 
者 全 拿 ”算法 与 数据 集 的 K - 均值 分 析 方法 有 多 大 的 相似 性 。 下 面 将 介绍 用 于 聚 类 的 无 监督 Ko- 
honen“ 胜 者 全 拿 ” 算 法 。 


11. 4.2 学 习 原 型 的 Kohonen 网 络 


数据 分 类 和 原型 在 学 习 中 的 角色 问题 一 直 是 心理 学 家 、 语 言 学 家 、 计 算 机 科学 家 和 认 知 科 
学 家 关心 的 对 象 (Wittgenstein 1953 ，Rosch 1978 ，Lakoff 1987)。 人 工 智能 中 的 分 类 和 原型 也 是 
本 书 的 重要 内 容 。 在 9.5 节 中 ,介绍 了 基于 符号 系统 的 分 类 方法 和 概率 聚 类 算法 。 在 连接 系统 中 ， 
在 11.2 节 介绍 了 基于 感知 机 分 类 算法 ， 现 在 介绍 Kohonen (1984) 的 “ 胜 者 全 拿 ” 聚 类 算法 。 

图 11-14 再 次 给 出 了 表 11-3 中 的 数据 点 。 将 
网 络 训练 中 产生 的 一 系列 原型 到 加 在 这 些 数据 点 
上 。 经 过 多 次 迭代 ， 感 知 机 训练 算法 收敛 ， 形 成 | 由 的 半 售 
一 组 网 络 连接 权 值 的 配置 ， 它 相当 于 在 两 类 之 间 
定义 了 一 个 线性 分 类 器 。 我 们 可 看 出 ， 用 权 值 定 
义 的 直线 也 可 通过 隐 式 地 计算 每 一 个 聚 类 的 欧 几 
里 得 距离 “中 心 ”得 到 。 这 个 聚 类 中 心 在 感知 机 
分 类 中 超 类 别 原型 的 作用 。 

另 一 方面 ，Kohonen 学 习 是 无 监督 的 ， 开 始 
有 很 多 任意 创建 的 原型 ， 然 后 不 断 训 练 ， 直 到 它 
明白 无 误 地 表示 一 个 数据 集 。 在 学 习 过 程 中 ， 学 
习 常 数 慢 慢 减 少 ， 因 此 输入 向 量 不 会 在 原型 中 引 





起 较 大 的 混乱 。 er 
像 CLUSTER/2 一 样 ，Kohonen 学 习 有 一 个 强 
的 归纳 偏 置 ， 因 为 需要 的 原型 的 数目 在 算法 开始 


、 oh ss ys 、 图 11-14 应 用 无 监督 的 Kohonen 算法 产生 可 以 
时 必须 明确 定义 。 这 就 允许 网 络 算法 设计 者 定义 代表 表 11-3 中 数据 类别 的 系列 原型 


一 个 合适 的 数目 来 表达 数据 群集 的 类 别 。 逆 传 算 
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法 ( 见 11.4.3 节 ) 允许 对 选择 的 原型 数目 数 进行 更 多 的 操作 。 

图 11-15 是 一 个 对 表 11-3 中 数据 进行 分 类 的 Kohonen 学 习 网 络 。 数 据 在 二 维 笛 卡 儿 空 间 中 表 
示 ， 因 此 表示 数据 群集 的 原型 也 应 该 是 一 个 有 序数 据 对 。 我 们 选择 两 个 原型 ， 一 个 表示 一 个 数据 
群集 。 任 意 初始 化 结 点 A 为 〈7,2)， 结 点 B 为 〈2,9) 。 任 意 初始 化 一 般 只 用 于 简单 问题 ， 替代 
的 方法 是 把 权 值 设 置 成 等 于 数据 群集 中 有 代表 性 的 点 。 

获胜 结 点 将 有 与 输入 向 量 更 接近 的 权 值 。 这 个 获胜 结 点 的 权 值 向 量 将 向 输入 向 量 接近 ， 同 
时 没有 获胜 的 结 点 的 权 值 将 不 会 改变 。 既 然 我 们 能 确切 计算 出 输入 向 量 和 每 个 原型 之 间 的 欧 拉 
距离 ， 就 不 需要 对 向 量 进行 11. 4. 1 节 所 述 的 规范 化 。 

因为 根据 数据 点 和 各 原型 之 间 的 简单 距离 测度 来 决定 获胜 者 的 选择 ， 所 以 Kohonen 学 习 是 无 
监督 的 。 类 别 将 在 自 组 织 网 络 中 发 现 。 尽 管 Kohonen 学 习 任意 选择 数据 点 进行 分 析 ， 我 们 这 里 选 
择 表 11-3 中 数据 时 按 从 上 往 下 的 顺序 选取 。 对 点 〈1,1) ， 我 们 测量 到 每 个 原型 的 距离 ， 

1, 0) — (7, DN=(1 -7)2+(-2)2=37 

(1, 1)—(2, MW=(1-2)+(1-9)2=65 

因为 结 点 A(7, 2) 更 接近 点 (1, 1) ,点 A 是 获胜 结 点 。|| (1,1) -(7,2) | 表示 了 这 两 个 点 之 间 
的 距离 。 因 为 大 小 关系 是 不 变 的 ， 在 计算 欧 拉 距 离 时 并 不 需要 进行 开平 方 。 我 们 现在 奖赏 获 胜 结 
点 ， 学 习 常数 为 0.5。 对 于 第 二 次 迭代 ; 

W? =W1+cXI-W1) 

= (7, 2) +0.5((1 1) - (7, 2)) = (7, 2) +0.5((1- 7),(1- 2)) 
= (7, 2) + (-3, -0.5) = (4, 1.5) 

在 第 二 次 学 习 算法 迭代 时 ， 对 于 数据 点 〈9.4,6.4) 


II(9.4, 6.4) — (4, 1.5)|| = (9.4- 4)2 + (6.4 -1.5)2 = 53.17 
|(9.4, 6.4) - (2, 9 川 = (9.4 - 2)2 + (6.4 - 9)2 = 60.15 


点 A 又 是 获胜 结 点 。 对 于 第 三 次 迭代 的 权 值 变 成 : 


W3 =W2+c(X2- W2) 
= (4, 1.5)+0.5((9.4, 6.4) - (4, 1.5)) 
= (4, 1.5) + (2.7, 2.5) = (6.7, 4) 
在 第 三 次 选 代 时 ， 对 于 数据 点 (2.5,2.1): 


|(2.5, 2.1) — (6.7, 4) = (2.5 — 6.7)2 + (2.1— 4)2 = 21.25， 

(2.5, 2.1) ~ (2, 9)|| = (2.5 — 2)?2 + (2.1- 9)2 = 47.86 

点 A 还 是 获胜 结 点 ， 我 们 继续 计算 它 的 新 
的 权 值 向 量 。 图 11-14 显示 了 今后 10 次 迭代 后 
的 进化 情况 。 用 于 产生 图 11-14 的 算法 是 任意 
从 表 11-3 中 选择 数据 ， 因 此 显示 的 原型 将 不 同 
于 刚才 我 们 产生 的 。 原 型 的 慢 慢 的 进步 可 看 成 
是 朝 数据 群集 的 中 心 移动 。 强 调 一 下 ,“ 胜 者 全 
拿 ”算法 是 无 监督 学 习 方 法 。 它 产生 一 系列 演 
变 和 明确 的 表示 数据 群集 的 原型 。 很 多 研究 者 
(包括 Zurada (1992) 和 Hecht-Nielsen (1990)) 


wa1 =7; Wa =2 


We1 一 2，WB2 =9 





图 11-15 对 应 于 表 11-3 中 数据 和 图 11-14 中 分 类 
器 的 Kohonen 学 习 网 络 的 体系 结构 图 
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指出 Kohonen 无 监督 分 类 器 从 根本 上 说 同 k -均值 分 析 是 一 样 的 。 
下 一 节 学 习 Grossberg 或 说 outstar 算法 ， 它 是 Kohonen“ 胜 者 全 拿 ” 算 法 的 扩展 ， 它 将 会 扩 
大 我 们 选择 原型 的 能 力 。 


11. 4.3 ”outstar 网 络 和 递 传 


到 这 一 节 为 止 ， 我 们 考虑 了 输入 数据 的 无 监督 聚 类 。 这 里 的 学 习 需 要 问题 领域 的 先 验 知识 。 
逐步 发 现 的 数据 特征 和 训练 的 历史 记录 将 有 助 于 类 别 的 鉴定 ， 发 现 类 别 之 间 的 边界 。 一 旦 数据 
点 按照 向 量 表示 的 相似 性 进行 了 聚 类 ， 教 师 就 可 辅助 进行 校正 ， 或 者 给 每 个 数据 类 别 相 应 的 名 
字 。 这 可 由 有 监督 的 训练 来 完成 ， 把 “ 胜 者 全 拿 ” 网 络 的 输出 层 的 结 点 当 作 另外 一 个 网 络 层 的 
输入 结 点 ， 然 后 在 输出 层 明 确 地 加 强 这 种 决定 。 

有 监督 的 训练 和 加 强 的 输出 可 让 我 们 把 Kohonen 网 络 的 结果 映射 到 特定 的 输出 模式 和 类 别 。 
Grossberg (1982，1988) 层 实现 了 叫做 outstar 的 算法 ， 它 可 完成 上 面 的 工作 。 由 Kohonen 网 络 和 
Grossberg 网 络 组 合 而 成 的 网 络 叫做 逆 传 网 络 ， 它 首先 由 Robert Hecht-Nielsen (1987，1990) 提出 。 

在 11.4.2 节 ， 我们 学 习 了 Kohonen 网 络 层 的 具体 细节 ， 这 里 开始 学 习 Grossberg 网 络 层 。 图 
11-16 显示 了 一 个 网 络 层 ， 有 结 点 A, B,…, N， 其 中 结 点 J 是 被 选择 的 获胜 结 点 。 向 量 Y 是 教师 
的 反馈 ， 我 们 通过 反馈 希望 加 强 结 点 J 到 输出 层 结 点 1 的 连接 权重 ， 结 点 1 是 假设 要 被 激活 的 ， 
可 见 Grossberg 是 有 监督 的 学 习 。 通 过 outstar 学 习 ， 我 们 确认 和 加 强 在 外 向 连接 J 到 1 上 的 权 
值 wu。 


输入 “ 胜 者 全 拿 ” 层 输出 层 监督 者 





图 11-16 “outstar” 结 点 J， 也 是 “ 胜 者 全 拿 ” 网 络 中 的 获胜 者 
注 , Y 向 量 监督 Grossberg 训练 中 输出 层 的 响应 。“outstar” 结 点 的 连接 是 加 粗 
的 ， 权 值 为 1， 其 他 的 权 值 为 0 


为 了 训练 逆 传 网 络 ， 我 们 必须 先 训 练 Kohonen 网 络 层 。 当 一 个 获胜 者 找 出 时 ， 从 这 个 结 点 出 
去 的 所 有 连 线 的 权 值 都 赋值 为 1， 其 他 结 点 的 连 线 为 0。 这 个 结 点 和 与 之 相连 的 输出 层 的 所 有 结 
点 形成 一 个 “outstar”( 见 图 11-16) 。 训 练 Crossberg 网 络 层 是 基于 outstar 分 量 。 

如 果 输 入 向 量 的 每 一 个 聚 类 都 表示 同一 个 类 别 ， 则 类 别 中 的 所 有 成 员 可 都 映射 到 输出 层 的 
同一 个 值 ， 且 不 需要 一 个 迭代 的 训练 。 只 需要 决定 “ 胜 者 全 拿 ” Kohonen 网 络 中 的 哪 一 个 结 点 连 向 
哪 一 个 输出 层 的 类 别 ， 然 后 根据 类 别 和 期 望 输出 的 关系 在 这 些 结 点 之 间 赋 予 适当 的 权 值 。 例 如 ， 如 
果 “ 胜 者 全 拿 ” 网 络 层 中 第 J 个 单元 是 获胜 者 ,1 = 1 是 期 望 的 网 络 输出 ， 那 么 就 设置 w = 1， 
J-outstar 的 所 有 其 余 连 接 权 重 wk =0。 
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如 果 聚 类 元 素 的 期 望 输出 改变 了 ， 就 需要 利用 监督 向 量 Y 进行 一 次 迭代 过 程 处 理 ， 调 整 
outstar 的 权 值 。 这 种 训练 的 结果 是 平均 某 特定 群集 中 的 元 素 的 期 望 输出 。 按 照 以 下 方程 ， 我 们 训 
练 outstar 中 获胜 结 点 到 输出 结 点 的 连接 权重 : 


WEC1=Wi+cY-W9 


其 中 c 是 学 习 常 量 ， 取 值 为 小 正 数 。W' 是 outstar 中 的 权 值 向 量 ，Y 是 期 望 输出 向 量 。 注 意 ， 这 
种 算法 有 增强 权 值 的 效果 : 如 果 输 出 层 的 结 点 1 是 获胜 结 点 ， 即 输出 为 1， 而 Kohonen 层 中 结 点 J 
的 期 望 输出 也 是 1， 则 可 加 强 结 点 1 和 结 点 J 的 连接 权 值 。 这 是 Hebbian 学 习 规则 的 一 个 实例 ， 
Hebbian 规则 描述 的 是 当 一 个 结 点 对 另外 一 个 结 点 激活 做 出 贡献 时 ， 则 这 条 神经 路 径 将 得 到 加 
强 。 将 在 11. 5 节 具 体 讨论 Hebbian 规则 。 

下 面 应 用 这 一 规则 训练 递 传 网 络 去 识别 表 11-3 中 的 类 别 。 我 们 也 将 用 这 个 例子 阐述 逆 传 网 
络 怎样 实现 有 条 件 学 习 。 假 设 表 11-3 中 的 x, 表示 一 动力 系统 中 发 动机 的 速度 ，x。 表示 发 动机 的 
温度 。 系 统 的 速度 和 温度 都 校正 到 区 间 [0,10] 中 的 点 。 我 们 的 监控 系统 以 一 定 的 间隔 抽取 样 
本 点 。 当 速度 和 温度 都 超 高 时 ， 我 们 希望 能 广播 警告 。 对 表 11-3 的 输出 重 命名 ，+1 改 为 
“safe”，- 工 改 为 “dangerous”。 我 们 设计 的 道 传 网 络 如 图 11-17。 


X1 “ 胜 者 全 拿 ” 层 输出 层 


发 动机 
温度 





图 11-17 识别 表 11-13 中 类 别 的 道 传 网 络 。 训 练 
结 点 A 的 outstar 权 值 ww 和 wp 


既然 知道 Kohonen 层 中 的 获胜 结 点 映射 到 Grossberg 网 络 输出 层 的 结 点 需要 什么 样 的 值 ， 可 
直接 设置 这 样 的 值 。 然 而 ， 为 了 阐述 outstar 学 习 ， 我 们 将 用 上 面 给 出 的 公式 训练 网 络 。 如 果 
(任意 地 ) 假定 输出 层 中 的 结 点 S 是 safe 的 标志 ， 结 点 D 是 dangerous 的 标志 ， 对 于 Kohonen 网 
络 输出 层 结 点 A， 其 outstar 权 值 向 量 必须 为 [1,0]， 结 点 B 的 outstar 权 值 向 量 为 [0,1] 。 因 为 
对 称 关 系 ， 我 们 只 讨论 结 点 A 的 训练 。 

在 Grossberg 网 络 训练 之 前 ，Kohonen 网 络 必 须 是 稳定 的 。 我 们 在 11.4. 2 节 讨 论 了 Kohonen 
的 收 贫 。 训 练 outstar 结 点 A 的 输入 向 量 形 式 是 [ x, xa,1,0] ，x 和 xs 是 表 11-3 中 的 值 ， 这 些 数据 
将 在 Kohonen 输出 层 结 点 A 聚 类 ， 后 面 两 个 分 量 表明 当 A 是 Kohonen 获胜 者 时 ，safe 取 值 为 
“tre”，dangerous 取 值 为 “false”， 如 图 11-15 。 我 们 初始 化 结 点 A 的 outstar 权 值 为 [0,0] ，0.2 
是 学 习 常量 。 
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W1 = [0, 0] 40.2[[1, 0] ~ [0, 0 = [0, 0] + {0.2, 0] = [0.2, 0] 

W2 = [0.2, 0] +0.2[[1, 0] ~ [0.2, 0]] = 0.2, 0] + [0.16, 0] = [0.36, 0] 
W3 = [0.36, 0] +0.2[[1, 0] - [0.36, 0]] = [0.36, 0] + I0.13, 0] = [0.49, 0] 
W4 = [0.49, 0] +0.2[[1, 0] - [0.49, 0]] = [0.49, 0] + [0.10, 0] = [0.59, 0] 
WS = [0.59, 0] +0.2[[1, 0] ~ [0.59, 0]] = [0.59, 0] + [0.08, 0] = [0.67, 0] 


从 上 面 可 看 出 ,不 断 训 练 ， 权 值 慢 慢 向 [1,01 移动 。 当 然 ， 既 然 在 这 种 情况 下 与 结 点 A 相关 的 
聚 类 元 素 通常 映射 到 [1,0] ， 我 们 可 采用 简单 赋值 的 算法 ， 而 不 用 平均 训练 算法 。 

现在 来 看 逆 传 网 络 怎样 做 出 适当 的 反应 。 当 我 们 首先 从 表 11-3 中 输入 第 一 个 向 量 ， 应 用 于 、 
图 11-17 的 逆 传 网 络 ， 结 点 A 的 outstar 权 值 的 激化 结果 是 [1,1] ， 而 结 点 B 的 outstar 权 值 的 激 
化 结果 是 [0,0] 。 激 化 结果 点 和 输出 层 结 点 S 的 权 值 是 [1,0] x [1,0] ， 把 激化 结果 1 送 到 输出 
结 点 S。 结 点 B 的 outstar 权 值 是 [0,1] ， 结 点 D 的 激化 结果 是 [1,0] x [0,1]， 这 是 我 们 所 希望 
的 值 。 对 表 11-3 中 的 第 二 行 数据 进行 测试 ， 在 “ 胜 者 全 拿 ” 层 从 结 点 A 得 到 激化 结果 [0,0] ， 从 
结 点 B 得 到 结果 [1,1]j ， 这 些 值 的 结果 点 和 训练 的 权 值 赋 S 结 点 为 0， 结 点 D 为 1， 这 也 是 我 们 
所 要 求 的 值 。 读 者 可 继续 测试 表 11-3 中 的 其 他 值 。 

从 认 知 的 角度 看 ,我 们 可 对 首 传 网 络 做 出 关联 解释 。 重 新 考虑 图 11-17， 因 为 网 络 是 学 习 事 件 
模式 ，Kohonen 层 的 学 习 可 认为 是 获得 条 件 刺激 。 另 一 方面 ，Crossberg 层 的 学 习 是 结 点 ( 非 条 件 刺 
激 物 ) 和 某 些 反应 的 关联 。 在 我 们 的 情形 中 ， 当 数据 适合 一 定 条 件 时 ， 系 统 学 习 广 播 一 个 危险 的 警 
告 。 一 旦 学 会 做 出 适当 的 反应 ， 即 使 没有 教师 的 监督 ， 系 统 也 能 对 新 的 数据 做 出 适当 的 反应 。 

对 道 传 的 第 二 种 认 知 解释 是 当 作 记 忆 中 对 现象 模式 的 关联 进行 加 强 的 形式 。 这 有 点 像 为 数 
据 模 式 的 响应 建立 字典 表 。 

在 某 些 情形 下 ， 首 传 算法 和 反 传 算法 相 比 有 很 多 的 优点 。 像 反 传 算法 一 样 ， 逆 传 算法 也 能 解 
决 非 线性 可 分 问题 。 然 而 ， 逆 传 是 通过 Kohonen 层 中 进行 的 预 处 理 实现 的 ， 在 Kohonen 层 中 数据 
集 被 分 划 到 具有 相同 性 质 的 集合 中 。 因 为 用 这 种 把 数据 分 划 到 离散 集合 的 方法 代替 反 传 网 络 中 
在 隐 含 层 进行 广义 搜索 的 办 法 ， 所 以 逆 传 算法 与 反 传 算法 相 比 有 更 大 的 优越 性 。 


11. 4.4 支持 向 量 机 


支持 向 量 机 (Support Vector Machine，SVM) 提供 了 另 一 个 竞争 学 习 的 例子 。 在 支持 向 量 机 
中 ， 使 用 统计 方法 来 确定 能 最 大 区 分 要 学 习 的 概念 的 正 例 和 反例 的 最 小 数据 点 ( 即 支 持 向 量 ) 
集合 。 这 些 支 持 向 量 代 表 从 概念 的 正 例 和 反例 中 选 出 的 数据 点 ， 隐 含 定义 了 一 个 区 分 这 两 个 数 
据 集 的 超 平面 。 例 如 ， 运 行 SVM 算法 , 将 点 (2. 5,2. 1) 和 (1. 2, 3. 0) 作为 表 11-3 和 图 11-5 中 数据 
的 正 例 的 支持 向 量 ， 将 点 (7. 0,7.0) 和 (7. 8,6.1) 作为 反例 的 支持 向 量 。 一 旦 支持 向 量 被 学 习 了 ， 
那么 其 他 数据 点 就 不 需要 保留 了 ， 支 持 向 量 自己 就 足以 确定 分 割 超 平面 。 支 持 向 量 机 是 线性 分 
类 器 ， 对 支持 向 量 的 学 习 是 有 监督 的 。 供 SVM 学 习 的 数据 假定 是 从 一 个 确定 的 (虽然 未 知 ) 数据 
分 布 上 独立 地 用 相同 方式 产生 的 。 支 持 向 量 隐 含 定义 的 超 平面 将 正 例 和 反例 区 分 开 。 靠 近 超 平面 的 
数据 点 位 于 决策 范围 (decision margin) (Burges 1998) 中 。 任 何 支 持 向 量 的 加 入 或 删除 都 将 改变 超 
平面 的 边缘 。 前 面 曾 提 到 ， 训 练 结 束 后 ， 可 以 从 支持 向 量 重建 超 平面 并 分 类 新 的 数据 集 。 

SVM 算法 通过 计算 数据 点 到 分 割 超 平面 的 距离 来 分 类 数据 元 素 ， 类 似 于 优化 问题 。 要 想 成 
功 地 控制 特征 空间 (〈 即 要 学 习 的 实例 的 参数 ) 不 断 增加 的 灵活 性 ， 需 要 一 个 复杂 的 归纳 理论 。 
这 一 理论 必须 能 精确 描述 一 定 要 控制 的 特征 ， 才 能 形成 一 个 好 的 归纳 。 在 统计 学 中 ， 这 一 问题 称 
为 一 致 收敛 率 【(the rates of uniform convergence) 人 研究。 我 们 在 10. 4.2 节 曾 经 看 过 一 个 例子 , 介 
绍 了 可 能 近似 正确 (PAC) 学 习 模 型 。PAC 学 习 的 结果 可 以 看 作 是 为 样本 的 数量 建立 一 个 范围 ， 
以 保证 某 个 特定 的 误差 界限 。 为 完成 归纳 ， 可 以 利用 贝 叶 斯 或 其 他 数据 压缩 技术 。SVM 学 习 中 
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经 常 使 用 Vapnik-Chervonenkis 理论 。 

Vapnik-Chervonenkis ( VC) 维 数 定义 为 能 够 用 一 些 函 数 划分 到 两 类 中 的 训练 点 的 最 大 数量 
( Burges 1998 ) 。 这 样 VC 理论 就 在 相 容 假设 泛 化 ( Cristianini and Shawe-Taylor 2000) 上 提供 了 一 
个 自由 分 布 范围 。SVM 算法 用 VC 理论 来 计算 超 平面 并 控制 误差 的 范围 ， 以 提高 归纳 的 精确 性 ， 
有 时 也 称 为 函数 的 容量 (capacity) 。 

SVM 算法 使 用 类 似 于 点 积 的 方法 从 特征 空间 映射 数据 。 点 积 的 结果 表示 被 映射 的 向 量 用 解 
二 次 方程 得 到 的 权 值 进行 线性 组 合 (Scholkopf et al. 1998)。 一 个 核心 函数 用 来 建立 特征 向 量 映 
射 ， 如 多 项 式 、 样 条 函数 或 高 斯 函数 ， 选 择 哪个 核心 函数 由 问题 分 布 决定 。SVM 算法 计算 距离 
来 确定 数据 元 素 的 分 类 。SVM 生成 的 决策 规则 表示 的 是 数据 的 统计 规律 。 一 旦 SVM 训练 好 ， 新 
数据 点 的 分 类 就 成 为 简单 的 与 支持 向 量 比较 的 问题 。 在 支持 向 量 中 ， 刻 画 要 学 习 的 概念 的 关键 
特征 集中 在 超 平面 的 一 边 ， 描 述 相反 特征 的 集中 在 另 一 边 ， 没 有 这 种 区 分 的 特征 没有 用 到 。 

对 于 11. 2 节 中 的 感知 机 算法 ， 数 据 的 线性 可 分 离 性 很 重要 。 如 果 数 据 不 可 分 ， 那 么 算法 无 
法 收敛 。 相 反 ，SVM 试图 最 大 化 决策 间隔 ， 处 理由 重大 数 据点 造成 的 难以 区 分 的 情况 的 能 力 更 
加 健壮 。 还 可 以 引进 松弛 (slack) 变量 来 放宽 线性 约束 ， 以 找到 一 个 更 柔性 的 间隔 ， 松 弛 变量 
的 值 指示 分 类 边界 的 信心 水 平 〈 Cristianini and Shawe-Taylor 2000)。 结 果 ， 为 了 生成 超 平面 ， 一 
些 突 在 外 面 的 支持 向 量 可 能 被 错误 分 类 ; 相应 的 ， 数 据 很 嗜 杂 时 ,决策 间隔 会 变 罕 。 

SVM 能 够 从 两 个 分 类 的 分 类 问题 推广 到 多 分 类 的 辨别 问题 ,方法 是 多 次 重复 运行 SVM 算 
法 ， 每 次 将 关心 的 分 类 作为 一 个 分 类 ， 所 有 其 他 分 类 作为 另 一 个 分 类 。SVM 算法 最 适用 于 具有 
数值 数据 的 问题 ， 而 不 是 绝对 的 分 类 问题 ， 因 此 ， 它 在 许多 具有 定性 边界 的 经 典 分 类 问题 中 的 适 
用 性 受到 了 限制 。SVM 的 能 力 依赖 于 其 数学 基础 : 凸 二 次 函数 在 线性 不 等 式 约束 下 的 最 小 值 。 

SVM 被 用 于 许多 学 习 情 况 中 ， 包 括 网 页 分 类 。 在 文本 分 类 中 ， 搜 索 和 /或 其 他 相关 功能 占有 
重要 位 置 。 每 个 文本 文档 都 成 为 SVM 的 输入 数据 ， 目 的 是 以 词 频 信息 为 基础 进行 分 类 ( Harrison 
and Luger 2002) 。SVM 也 被 用 到 图 像 识 别 中 ， 集 中 在 使 用 灰 度 或 颜色 亮度 信息 的 图 像 的 边缘 探测 
和 形状 描述 问题 ( Cristianini and Shawe-Taylor 2000 ) 。 在 图 11-18 中 (改编 自 Cristianini and 
Shawe-Taylor 2000) ，SVM 区 分 了 棋盘 的 边界 。 关 于 SVM 算法 的 更 多 细节 和 完整 算法 描述 ， 可 以 
查阅 文章 (Burges 1998 ) 。 





图 11-18 学 习 国 际 象棋 棋盘 边界 的 SVM 
注 : 数据 点 用 高 斯 核心 函数 根据 一 致 分 布 生成 。 图 中 的 点 是 数据 点 ， 并 用 较 大 的 点 表示 支 
持 向 量 ， 较 黑 的 区 域 表 示 分 类 的 信心 。 改 编 自 Cristianini 和 Shawe-Taylor (2000) 
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11.5 Hebbian 一 致 性 学 习 


11. 5. 1 概述 


Hebbian 学 习 理论 是 通过 对 生物 系统 的 观察 得 出 来 的 : 当 一 个 神经 元 对 另 一 神经 元 激活 有 贡 
献 时 ， 则 在 这 两 个 神经 元 之 间 的 连接 或 路 径 将 会 得 到 加 强 。Hebb (1949) 陈述 如 下 ， 


如 果 细 胞 A 的 轴 突 离 细 胞 B 很 近 ， 且 反复 不 断 地 激活 细胞 B， 那 么 在 一 个 细胞 或 全 部 细胞 中 
将 会 出 现 新 陈 代谢 变化 ， 作 为 激活 细胞 B 的 细胞 A， 它 激活 细胞 B 的 效率 将 大 大 提高 。 


Hebbian 学 习 是 很 吸引 人 的 ， 因 为 它 在 神经 细胞 层 建立 了 基于 行为 的 奖励 概念 。 神 经 心理 学 
研究 证 实 了 Hebb 的 观点 : 相互 连接 的 神经 元 之 间 刺 激 的 短暂 接近 能 够 改变 神经 元 细胞 之 间 的 连 
接 强度 ， 虽 然 与 Hebb 的 简单 “增加 有 效 性 ” 相 比 要 复杂 得 多 ， 但 是 说 明了 Hebbian 的 观点 在 一 
定 程度 上 是 正确 的 。 尽 管 Hebbian 学 习 理论 有 点 抽象 ， 在 这 一 节 陈 述 的 学 习 规则 还 是 引用 Hebbi- 
an 学 习 理论 。 这 种 学 习 属于 一 致 性 学 习 的 范畴 ， 在 这 种 学 习 中 神经 元 处 理 中 局 部 事件 引起 权 值 
的 变化 。 我 们 通过 局 部 时 间 和 空间 属性 来 描述 这 种 学 习 规 则 。 

Hebbian 学 习 用 于 很 多 神经 网 络 体系 结构 。 既 用 于 有 监督 的 学 习 ， 也 用 于 无 监督 的 学 习 。 当 
一 个 神经 元 对 另 一 个 神经 元 的 激活 有 贡献 时 ， 在 两 个 神经 元 之 间 的 连接 强度 可 得 到 加 强 ， 通 过 
它们 的 输出 值 的 符号 乘 上 一 个 常数 调整 两 者 之 间 的 连接 权 值 来 实现 。 

让 我 们 看 看 这 是 怎样 工作 的 。 假 如 i 和 j 是 相互 连接 的 ，i 的 输出 是 j 的 输入 。 定 义 两 者 连接 
权重 的 调整 量 为 AW， 当 作 c* (0 * 9) 的 符号 ， 其 中 c 是 控制 学 习 率 的 常量 。 在 表 11-4 中 ， 
9 是 i 的 输出 值 的 符号 ，O 是 j 的 输出 。 从 表 的 第 一 行 可 以 看 出 ， 当 O, 和 O， 都 是 正 值 时 ， 权 值 
的 调整 量 AW 也 是 正 的 。 当 i 对 j 的 激活 有 贡献 时 ， 这 就 有 增强 1 和 j 之 间 的 连接 强度 的 效果 。 


表 11-4 结 点 输出 值 的 符号 和 运算 结果 





+ 一 一 


一 十 一 


~ 一 + 





在 表 11-4 的 第 二 和 第 三 行 ,i 和 j 是 相反 的 符号 。 因 为 它们 的 符号 相反 ,我 们 要 阻止 1 对 j 的 
输出 做 贡献 。 因 此 ， 我 们 通过 一 个 负 增 量 来 调整 两 者 之 间 的 权 值 。 最 后 ,在 第 四 行 ，i 和 j 又 有 
相同 的 符号 ， 这 意味 着 我 们 要 增强 它们 的 连接 。 这 种 调整 权 值 的 方法 可 增强 连接 路 径 ， 当 它们 有 
相同 的 符号 时 ， 否 则 减弱 。 

在 下 一 节 ， 我 们 学 习 有 监督 和 无 监督 的 两 种 Hebbian 学 习 。 我 们 首先 考虑 无 监督 的 情形 。 


11. 5.2 无 监督 Hebbian 学 习 的 例子 


回忆 一 下 ， 在 无 监督 的 学 习 中 关键 的 是 不 能 提供 “正确 ”输出 值 ; 因此 ， 权 重 调整 只 能 依 
靠 神经 元 输入 和 输出 值 之 间 的 函数 。 这 种 网 络 的 训练 有 加 强 网 络 对 已 有 模式 的 响应 的 效果 。 在 
下 一 个 例子 中 ,我 们 将 看 到 Hebbian 技术 怎样 用 于 有 条 件 反应 模型 学 习 ， 这 里 一 个 任意 选 定 的 刺 
激 可 当 作 我 们 期 望 反应 的 条 件 。 

对 于 无 监督 Hebbian 学 习 中 结 点 i 的 权重 AW 可 调整 


AW=c*f (X, W)*X 
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其 中 5 是 学 习 常 量 ， 一 个 很 小 的 正 数 。f(X, W) 是 1 的 输出 ,X 是 i 的 输入 向 量 。 

现在 来 看 通过 Hebbian 学 习 ， 怎 样 把 网 络 对 无 条 件 的 刺激 做 出 响应 转换 到 对 有 条 件 的 刺激 做 
出 响应 的 情形 。 从 Pavlov 的 试验 中 可 推出 这 种 学 习 模 型 ， 在 Pavlov 的 试验 中 ， 每 当 把 食物 给 狗 吃 
时 伴随 着 铃声 出 现 ， 这 样 ， 狗 的 唾液 反应 就 从 食物 转移 到 铃声 。 图 11-19 的 网 络 有 两 层 ， 输 入 层 
有 6 个 结 点 ， 输 出 层 有 一 个 结 点 。 输 出 层 返回 + 1， 表 示 输 出 神经 元 被 激活 ， 返 回 -1 ， 表示 输出 






f(x) = sign (x) 


图 11-19 一 个 应 用 混合 Hebbian 结 点 的 神经 元 例子 ， 这 里 学 习 是 有 监督 的 


我 们 让 学 习 常量 为 很 小 正 实数 0. 2。 在 这 个 例子 中 ， 对 网 络 训练 模型 [1, -1,1, -1,1, -1]， 
它 是 两 个 模型 [1，-1,1] 和 [ -1,1, -1] 的 关联 ，[1, -1,1] 表 示 无 条 件 的 刺激 ，[ -1,1, - 1] 表示 
新 的 刺激 。 

假定 网 络 已 经 能 对 无 条 件 刺激 做 出 正确 的 反应 ， 但 是 对 于 新 的 刺激 没 反应 。 权 值 向 量 [1， 
-1 1I 刚 好 匹配 输入 模式 ， 因 此 用 它 来 模仿 网 络 对 无 条 件 刺激 的 正确 反应 ; 用 权 值 向 量 [0,0,0] 
模仿 网 络 对 新 刺激 的 无 反应 状态 。 这 两 个 权 值 向 量 连接 一 起 就 是 网 络 的 初始 权 值 向 量 [1，- 1, 1， 
0,0,0] 。 

我 们 现在 训练 网 络 的 输入 模式 ， 希 望 产生 这 样 的 一 组 权 值 向 量 ， 它 能 对 新 刺激 做 出 正确 的 
反应 。 第 一 次 循环 如 下 : 

W*X =(1*1)+(-1*-1)+(1*1)+(0*-1)+(0*1)+(0*-1) 

= (1) +(1D)+(1)=3 
f(3) = sign(3) = 1 


于 是 得 到 新 权 值 向 量 W : 


W2 =[1,-1,1,0,0,0]+0.2*(1)*[1,—1, 1,—1, 1,—1] 
[1, -1, 1, 0, 0, 0] + [0.2, -0.2, 0.2, -0.2, 0.2, -0.2] 
[1.2, -1.2, 1.2, -0.2,0.2, -0.2 ] 


把 新 的 权 值 向 量 应 用 于 原始 的 输入 模式 : 
W*X =(1.2*1)+(-1.2*-1)+(1.2*1)+(-02*-1)+(02*1)+(-02*-1) 
= (1.2) + (1.2) + (1.2) + (+0.2) + (0.2) + (0.2) = 4.2 
sign(4.2)= 1 
产生 新 的 权 值 向 量 W : 
= [1.2, -1.2, 1.2, -0.2, 0.2, -0.2] +0.2* (1) * {1, -1, 1, —1, 1-1] 
= {1.2, ~1.2, 1.2, -0.2, 0.2, -0.2] + [0.2, -0.2,0.2, -0.2,0.2, —0.2] 
= [1.4, -1.4, 1.4, —0.4, 0.4, —0.4 ] 
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可 看 出 向 量 结果 W * X 将 继续 朝 正方 向 增长 ， 向 量 的 每 一 个 分 量 在 每 次 循环 中 绝对 值 都 增长 
0.2。 经 过 10 次 以 上 的 Hebbian 训练 ， 权 值 向 量 如 下 : 


W13 = 13.4, -3.4, 3.4, -2.4, 2.4, -2.4] 


我 们 现在 用 这 个 向 量 测试 网 络 对 两 个 模式 的 反应 。 我 们 关注 网 络 是 否 继 续 能 对 无 条 件 的 刺 
激 做 出 正确 的 反应 ， 更 重要 的 是 ， 网 络 能 否 对 新 的 、 有 条 件 的 刺激 做 出 正确 的 反应 。 我 们 首先 用 
无 条 件 刺激 [1, - 1, I 测试， 对 于 输入 向 量 的 后 三 个 元 素 任意 赋值 为 1 和 - 1。 例如， 用 向 量 [ 1， 
-1,1,1,1, -1 测试 : 
Sign(W*X) = sign((3.4*1) + (-3.4*—1) + (3.4*1) 
+ (-2.4*1) + (2.4*1) + (-2.4*—1)) 
= Sign(3.4+3.4+3.4-2.4+2.4+2.4) 
= Sign(12.6) = +1 


网 络 还 是 能 对 原先 的 无 条 件 刺激 做 出 积极 的 反应 。 我 们 现在 做 第 二 个 测试 ， 前 面 还 是 无 条 件 刺 
激 ， 后 面 三 个 分 量 取 与 上 面 不 同 的 值 [ 1, 一 1， 1, 1， 一 1, 一 1] 
sign(W*X) = sign((3.4*1) + (-3.4*-1) + (3.4*1) 
+ (-2.4*1) + (2.4*—1) + (-2.4*-1)) 
= sign(3.4 + 3.4 + 3.4 -2.4 -2.4+2.4) 
= sign(7.8) = +1 
第 二 个 向 量 也 能 产生 一 个 积极 的 网 络 反 应 。 实 际 上 ， 这 两 个 例子 表明 ， 网 络 对 原始 刺激 的 灵 
敏 度 得 到 加 强 ， 这 是 因为 反复 暴露 于 那个 原始 刺激 。 
我 们 现在 测试 网 络 对 新 刺激 的 反应 ， 新 刺激 模式 是 输入 向 量 的 后 面 三 个 分 量 编码 为 【 - 1， 
1, -1]。 对 于 前 面 三 个 分 量 任意 设置 为 1 和 -1， 然 后 用 向 量 [1,1,1, - 1,1, -1] 测 试 网 络 : 
sign(W*X) = sign((3.4*1) + (3.4*-1) + (3.4*1) 
+ (-2.4*1) + (2.4*1) + (—2.4*—1)) 
= sign(3.4 — 3.4 + 3.4 + 2.4 + 2.4 + 2.4) 
= sign(10.6) = +1 


第 二 种 刺激 的 模式 也 被 识别 出 来 了 ! 

用 轻微 退化 的 向 量 模 式 做 最 后 一 个 测试 。 这 代表 这 样 的 刺激 情形 : 也 许 是 因为 新 的 食物 或 
者 不 同 的 铃声 被 使 用 ， 输 入 信号 有 轻微 的 改变 。 我 们 用 向 量 [1, -1, -1,1,1, -1] 测 试 网 络 ， 这 
里 前 三 个 分 量 有 一 个 跟 原 来 的 无 条 件 刺 激 模 式 不 同 ， 后 三 个 分 量 也 有 一 个 同 条 件 刺 激 模 式 不 同 : 

sign(W*X) = sign((3.4*1) + (-3.4* 一 1) + (3.4*1) 

+ (—2.4*1) + (2.4*1) + (—2.4*—1)) ~ 
= sign(3.4 + 3.4— 3.4—2.4+2.4+2.4) 
= sign(5.8) = +1 

就 连 部 分 退化 的 刺激 也 被 识别 出 来 了 ! 

Hebbian 学 习 模 型 产生 了 什么 ? 通过 反复 地 把 老 刺激 和 新 刺激 一 起 呈现 ， 于 是 在 新 刺激 和 老 
反应 之 间 建 立 了 一 种 关联 。 网 络 就 是 在 没有 监督 的 情况 下 学 习 把 这 种 反应 转移 到 新 的 刺激 上 。 
这 种 加 强 的 灵敏 度 也 允许 对 轻微 退化 的 刺激 模型 做 出 同样 正确 的 反应 。 这 些 可 通过 用 Hebbian 一 
致 性 学 习 来 实现 ， 这 种 学 习 增 加 网 络 对 整个 模型 反应 的 强度 ， 而 且 一 样 可 增加 网 络 对 整个 模型 
中 各 个 分 量 模型 做 出 正确 反应 的 强度 。 
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11. 5. 3 有 监督 Hebbian 学 习 


Hebbian 学 习 规则 是 基于 这 样 的 原理 : 当 一 个 神经 元 对 另 一 个 神经 元 的 激活 有 贡献 时 ， 则 在 
这 两 个 神经 元 之 间 的 连接 强度 将 加 强 。 当 连 接 权 重 的 调整 是 基于 期 望 的 输出 ， 而 不 是 实际 输出 
时 ， 这 个 原理 也 可 适用 于 有 监督 的 学 习 。 例 如 ， 如 果 输 入 神经 元 A 引起 神经 元 B 的 是 正 反应 ， 
而 且 神经 元 B 的 期 望 输出 也 是 正 反应 ， 则 从 A 到 B 的 连接 权重 将 加 强 。 

我 们 来 看 一 个 有 监督 Hebbian 学 习 的 应 用 ， 它 显示 了 网 络 怎样 被 训练 成 可 识别 模式 之 间 的 关 
联 。 这 种 关联 以 有 序 对 的 形式 给 出 ，{ <Xi,Y, >,， <X,,Y, > ，…， <Xu Y >}， 其 中 X 和 Yi 是 被 
关联 的 向 量 模式 。 假 如 XX 的 长 度 是 n，Yi 的 长 度 是 m。 我 们 设计 一 个 适合 这 种 情形 的 网 络 。 因 
此 ， 这 个 网 络 有 两 层 ， 输 入 层 大 小 为 n， 输 出 层 大 小 为 m， 如 图 11-20。 

上 一 节 中 关于 Hebbian 网 络 学 习 的 公式 可 继 y y y, 
承 过 来 。 

AW = c * f(X, W) * x 


其 中 f (X,W) 是 网 络 结 点 实际 输出 。 在 有 监督 
的 学 习 中 ， 我 们 用 期 望 的 输出 向 量 D 代替 实际 
输出 ， 公 式 如 下 : 





AW=c*D*X 

从 关联 模式 集合 中 给 出 向 量 对 < X,Y > ， 我 们 

对 输出 层 中 结 点 K 应 用 学 习 规 则 : x 六 % Xx 
AWik = C * dk* Xi 图 11-20 学习 模式 关联 的 有 监督 Hebbian 网 络 


其 中 AWi. 是 输入 结 点 1 到 输出 结 点 k 的 权 值 的 调整 量 ，d, 是 结 点 k 的 期 望 输 出 ，x, 是 X 的 第 i 个 
分 量 。 我 们 应 用 这 个 公式 调整 输出 层 中 所 有 结 点 的 所 有 权 值 。 向 量 < xi, xs,…, x, > 是 输入 向 量 
X， 向 量 < du d:, …, d > 是 输出 向 量 Y。 把 这 个 公式 用 于 输出 层 的 每 一 个 结 点 和 权重 ， 写 成 矩 
阵 形式 ， 得 到 输出 层 权重 调整 的 公式 : 


AW = c*Y*X 
其 中 向 量 乘积 Y* X 是 广义 向 量 积 。 广 义 向 量 积 YX 写成 矩阵 形式 如 下 : 


y1 eX1 y1 eX2 0 y1 ® Xm 
YX = y2。X1 yY2 。X2 oo. y2* Xxm 


neX1 yneXxXx2 … yneX 


为 了 对 整个 关联 模式 对 集合 训练 网 络 ， 我 们 循环 使 用 这 些 模 式 对 ， 利 用 公式 对 每 一 个 模式 
对 < X, ,Yi > 调整 其 权 值 : 


W!+ 1 = Wt+ CrYi+Xi 
对 于 整个 训练 集合 得 到 : 


WI = WO+rc (YI* XI + Y2* Xo + -+ Yr* Xt) 
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其 中 W 是 初始 权重 值 。 如 果 我 们 把 W? 初始 化 为 0 向 量 <0,0,…,0 > ， 学 习 常 数 c 设 为 1， 则 
可 得 到 如 下 设置 网 络 权 值 的 公式 ; 


W=Y1* X1 + Y2* X2+...+ Yt* Xt 


用 这 个 公式 设置 权 值 把 输入 向 量 映射 到 输出 向 量 的 网 络 叫做 线性 联想 器 (linear associator) 。 
从 上 面 可 看 出 ,线性 联想 器 网 络 是 基于 Hebbian 学 习 规则 的 。 在 实际 应 用 中 ， 可 直接 用 这 个 公式 
初始 化 网 络 的 权 值 ， 而 不 用 经 过 训练 。 

下 面 我 们 分 析 线 性 联想 器 的 属性 。 我 们 可 看 出 ， 在 这 个 模型 中 通过 一 个 权 值 矩阵 存储 了 多 个 关 
联 模式 。 这 加 大 了 存储 模式 之 间 相 互 作用 的 可 能 性 。 在 下 一 节 我 们 分 析 这 种 相互 作用 产生 的 问题 。 


11.5.4 联想 记忆 和 线性 联想 器 


线性 联想 器 首先 由 Tuevo Kohonen (1972) 和 James Anderson 等 (1977) 提出 。 在 这 一 节 ， 
我 们 用 线性 联想 器 网 络 在 记忆 中 存储 模式 和 从 记忆 中 恢复 模式 。 我 们 讨论 不 同 的 记忆 检索 模式 ， 
包括 异 相关 模式 、 自 相关 模式 和 插入 模式 。 我 们 把 线性 联想 器 网 络 当 作 基 于 Hebbian 学 习 的 插入 
记忆 模式 的 实现 来 分 析 。 这 一 节 的 最 后 考虑 在 记忆 中 多 模式 编码 的 冲突 。 

我 们 先 学 习 几 个 定义 。 模 式 和 记忆 值 都 用 向 量 表示 。 在 把 问题 表示 成 一 个 特征 向 量 集合 时 通常 
会 诱发 归纳 偏 置 。 将 存 人 记忆 中 的 关联 模式 用 向 量 对 集合 { <Xi,Y; >，< Xo。 Y。 > ,…，<X,Y, >} 表 
示 。 对 于 每 一 个 向 量 对 < X,Y; > , Xi 是 用 来 检索 模式 Y; 的 关键 字 。 主 要 有 三 种 相关 记忆 方式 。 

1) 异 相 关 模 式 : 从 X 到 Y 的 映射 是 ， 如 果 任 意 的 向 量 X 离 模式 X, 比 离 其 他 的 模式 更 近 ， 则 
返回 相关 的 向 量 Yi。 

2) 自 相关 模式 : 映射 方式 同 异 相关 ， 只 是 对 于 所 有 的 模式 对 X = Yi。 因 为 模式 X 关联 到 自 
身 ， 所 以 这 种 记忆 方式 主要 用 于 从 部 分 或 退化 的 模式 回忆 到 全 模式 的 情形 。 

3) 插入 模式 ; 从 X 到 Y 有 影射 函数 g， 当 X 不同 于 样本 模式 时 ， 也 就 是 说 X=X +Ai， 则 
输出 g(X) =G(X +Ai) =Yi+E, 其 中 E=g(Ai)。 在 插入 模式 的 映射 中 ， 如 果 输入 向 量 是 样本 模式 
Xi ， 则 相关 的 模式 Yi 被 检索 到 ; 如 果 与 样本 模式 向 量 相差 D， 则 输出 向 量 相差 E， 此 处 E=g (A)。 

自 相 关 和 蜡 相关 记忆 用 于 检索 原 有 模式 。 它 们 构成 真正 意义 上 的 记忆 ， 因 为 被 检索 的 模式 


是 存储 在 记忆 中 的 一 个 拷贝 。 我 们 有 时 也 需要 一 种 = Wa + we tn 
系统 的 方法 构造 输出 模式 ， 这 个 模式 与 存储 在 记忆 Wa + Wt wn 
中 的 模式 不 同 。 这 就 是 插入 记忆 的 功能 。 mT Wnt + Wma Xn ttm en 


图 11-21 所 示 的 线性 联想 器 网 络 实现 了 一 种 形 
式 的 插入 记忆 。 如 11. 5.3 节 所 述 ， 它 是 基于 Hebbi- 
an 学 习 模 型 。 网 络 初始 权 值 由 以 下 方程 得 到 : 

W =Y1* X1 + Y2 * X2 +… + Yt *Xt 
由 这 个 权 值 ， 网 络 可 正确 地 检索 匹配 的 样本 模式 ; 
否则 ， 它 就 形成 插入 记忆 模式 映射 。 

我 们 下 一 步 介 绍 一 些 相 关 概 念 和 符号 ， 以 帮助 
我 们 分 析 这 个 网 络 的 行为 。 首 先 我 们 要 介绍 一 种 度 





2 3 
量 标准 ， 它 用 于 精确 定义 两 向 量 之 间 的 距离 。 例 子 ”图 11-21 线性 关联 网 络 
中 的 所 有 模式 向 量 都 是 汉 明 (Hamming) 向 量 ,， 它 。” 注 ; 向 量 X 是 当 输 入 ， 关 联 的 向 量 Y 当 输出 ， 
只 由 +1 和 -1 组成。 我 们 用 汉 明 距离 描述 两 个 汉 明 y'i 是 输入 X 的 线性 组 合 。 在 训练 中 ， 每 一 


向 量 之 间 的 距离 。 我 们 形式 地 定义 汉 明 空 间 : 全 都 有 正确 的 输出 信号 
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H" ={X = (Xi : Xo, x,)} 
其 中 每 个 x; 取 值 于 | +1, 11|。 

对 于 汉 明 空间 中 的 两 个 汉 明 向 量 的 汉 明 距离 定义 如 下 : 

1 X,Y1 =X 和 YY 中 对 应 分 量 不 同 的 个 数 。 
例如 ， 对 于 四 维 汉 明 空间 : 

(1, -1, -1,1) 和 (1,1, -1,1) 的 汉 明 距离 是 1 

( -1, -1, -1,1) 和 (1,1,1, -1) 的 汉 明 距离 是 4 

(1, -1,1, -1) 和 (1, -1,1, -1) 的 汉 明 距离 是 0 

我 们 还 需 两 个 定义 。 第 一 是 补 向 量 ， 汉 明 向 量 的 补 向 量 是 把 原 向 量 中 的 每 一 个 分 量 求 反 ， 从 
+1 变 到 - 1 ， 从 -1 变 到 +1。 例如 ， (1, -1,， 一 1 ， —1) 的 补 向 量 是 ( -1,1,1,1)。 

第 二 是 标准 正 交 向 量 ， 标 准 正 交 向 量 是 正 交 的 ， 同 时 还 是 单位 向 量 。 两 个 标准 正 交 向 量 的 点 
积 等 于 0。 因 此 ， 对 于 标准 正 交 向 量 集 任意 两 个 不 同 的 向 量 X 和 Xi 相 乘 ， 其 点 积 等 于 0。 

XX =5 当 i =j 时 5 =1 » 否则 为 0 

上 面 所 述 带 有 了 映射 函数 5(X) 的 线性 联想 器 网 络 具有 以 下 的 两 个 属性 ， 第 一 ， 对 于 与 样本 
模式 匹配 的 输入 向 量 X ， 网 络 输出 5(X) 是 Yi， 与 X 关联 的 样本 模式 ; 第 二 ， 对 于 不 与 样本 模 
式 匹 配 的 输入 向 量 Xe， 网 络 输 出 go(X,) 是 Y， 它 是 X, 的 线性 插入 值 。 更 准确 地 说 ， 如 果 X. = 
Xi + A;，X; 是 样本 模式 ， 网 络 返 回 值 是 : 

Yk=Yi+E， 其 中 E=G(A) 
我 们 先 看 当 输 入 X, 是 一 个 样本 模式 时 ， 网 络 返 回 相关 的 样本 模式 : 

9(Xi) =WXi， 根 据 网 络 激励 函数 的 定义 
因为 W =YX +Y,X。 +… +YIXi+… +Y,X,， 可 得 到 : 

D(X) = (Y1X1+ Y2X2 + …+ YiXi + … + YnXn)Xi 

一 Y1X1Xi + Y2XoXi 十 … +YiXiXi + + YnXnXi 

由 上 面 的 定义 ， XX, =6,: 

2OD = 104 + Y262i + …+ Yi + + Ynoni 
由 标准 正 交 的 条 件 ， 当 i=j 时 ，5; =1， 否 则 等 于 0。 因 此 可 得 到 : 

P(X) = Y1*0 十 Ya2*0 十 … 十 Yi#1 十 … 十 Yn*0 一 Yi 

同样 可 以 看 出 ， 对 于 不 等 于 任何 样本 模式 的 向 量 X,， 网 络 执行 插入 喘 射 。 也 就 是 说 ,对 于 
X, = Xi + D,， 其 中 X 是 样本 模式 ， / 

CO = PXi+ A 

=Yi+ E 

其 中 Y 是 与 模式 Xi 相关 联 的 向 量 ， 且 

E= @(A)=(Y1X1+ YoX2 + + YnXn) Ai 
我 们 省 略 了 详细 的 证 明 。 x x % x 


1 
我 们 现在 给 出 线性 联想 器 的 处 理 过 程 。 如 图 ”图 11-22 11.5.4 节 例子 中 的 线性 联想 器 网 络 权 
11-22 的 简单 线性 联想 器 网 络 ， 它 把 四 维 向 量 X 映 值 矩 阵 的 计算 用 前 一 节 所 介绍 的 公式 
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射 到 三 维 向量 Y。 因 为 我 们 是 在 汉 明 空间 中 ， 网 络 激励 函数 f 还 是 前 面 的 符号 函数 sign。 
如 果 我 们 想 存 储 以 下 的 两 个 相关 向 量 <X, ,Y > 和 <X,Y, > 


X1 =[1, -1,-1,—1] © Y1 = 三 1， 1, 1] 
X2=[1, -1, -1, 1] 6 Ys=[1, -1, 1] 


线性 联想 器 用 权 值 初始 化 公式 ， 它 是 前 面 定义 的 向 量 的 广义 向 量 积 : 
W= Y1X1 + Y2X2 十 YaX3 十 … 十 YnXn 
我 们 现在 计算 Y,X, +Y,X, ， 网 络 的 权 值 矩 阵 是 ; 


E 1 11 HE 1 
W= | 1-1-1-1l+| 1 1 1-1= 
1-1-1-1 [-1-1-1 1 

在 一 个 样本 模式 上 运行 线性 联想 器 。 从 第 一 个 模式 对 中 取出 X= [1, -1, -1, -1] 以 找到 
其 关联 的 向 量 Y: 

y1= (~2°1) + (0 一 1) + (0*—1) + (2 一 1) = -4, sign(—4) = —1 

y2= (2*1) + (0*—1) + (0 一 1) + (-2*—1) = 4, sign(4) = 1 

y3= (0"1) + (-2*—1) + (~2*—1) + (0*—1) = 4, sign(4) = 1 
因此 有 Y= [ -1,1,1]， 返 回 的 是 模式 对 的 另外 一 半 。 

现在 举 一 个 样本 模式 的 线性 插入 的 例子 。 对 向 量 X= [1, -1,1, -1]: 

y1=(-2*1) + (0* 一 1) + (0*1) + (2*~1) = —4, sign(-4) = —1 

yz2 = (2*1) + (0 一 1) + (0*1) + (-2*—1) = 4, sign(4) = 1 

ya = (0*1) + (—-2*—1) + (-2*1) + (0*-—1) = 0, sign(0)= 1 
注意 到 Y= [ -1,1,1] 不 是 原始 的 样本 模式 Y， 这 个 映射 保存 了 相同 的 值 ， 因 为 这 两 个 样本 Y 
是 相同 的 。 实 际 上 ， 向 量 X= [1, -1,1, -1] 与 两 个 样本 模式 X 之 间 的 汉 明 距离 都 是 1; 输出 
向 量 [ -1,1,1] 与 两 个 样本 模式 向 量 Y 的 汉 明 距离 也 都 是 1。 

现在 对 线性 联想 器 进行 总 结 。 要 想得到 线性 联想 器 期 望 的 属性 ， 样 本 模式 向 量 必须 是 标准 
正 交 向 量 集 。 因 为 以 下 两 个 原因 ， 这 限制 了 它 的 应 用 : 第 一 ， 也 许 没有 显示 的 映射 ， 从 现实 世界 
的 情形 映射 到 标准 正 交 向 量 模式 集 ; 第 二 ， 存 储 的 模式 的 数目 受到 向 量 空间 的 维 数 的 限制 。 当 标 
准 正 交 的 条 件 不 满足 时 ， 在 存储 的 模式 之 间 就 会 出 现 冲突 ， 这 种 冲突 会 引起 串扰 。 

还 可 观察 到 ， 只 有 当 输入 向 量 刚好 匹配 样本 模式 X 时 ， 线 性 联想 器 才能 确切 检索 到 关联 的 
向 量 Y。 如 果 在 输入 模式 里 没有 确切 的 匹配 ， 则 结果 是 揪 人 映射 的 结果 。 有 人 认为 插 人 映射 并 不 
是 真正 意义 上 的 记忆 。 人 们 经 常 需要 真正 的 记忆 检索 功能 ， 当 输入 与 样本 近似 的 向 量 时 ， 能 检索 
到 确切 的 与 之 关联 的 模式 。 . 

在 下 一 节 ， 我们 曾 述 线性 联想 器 网 络 的 带 有 吸引 子 的 版 本 。 


11.6 有 吸引 子 网 络 或 “记忆 ” 














-2 0 0 2 
2 0 0 -2 
0 -2-2 0 


11. 6.1 概述 


这 之 前 讨论 的 网 络 是 前 馈 网 络 。 在 前 馈 网 络 中 ， 信 息 表 示 在 输 人 结 点 集合 中 ， 信 号 通过 结 点 
或 结 点 层 往 前 传播 ， 直 到 一 定 的 结果 出 现 。 另 一 种 重要 的 连接 网 络 是 反馈 网 络 。 反 馈 网 络 的 体系 
结构 与 前 馈 网 络 不 同 ， 它 的 结 点 的 输出 信和 号 直接 或 间接 输入 到 结 点 中 ， 形 成 一 个 循环 。 
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反馈 网 络 与 前 馈 网 络 相 比 有 以 下 几 个 主要 的 区 别 : 

1) 结 点 之 间 反 馈 连接 的 存在 形式 。 

2) 时 延 ， 例 如 非 瞬时 信号 的 传播 。 

3) 网 络 输出 是 网 络 收敛 的 状态 。 

4) 网 络 的 可 用 性 取决 于 其 收敛 属性 。 

当 反 馈 网 络 不 再 变化 时 ， 它 就 被 认为 是 达到 了 平衡 状态 。 网 络 到 达 的 平衡 状态 就 是 网 络 的 
输出 。 

在 11. 6.2 节 的 反馈 网 络 中 ， 网 络 状 态 用 一 个 输入 模式 初始 化 。 网 络 通过 一 系列 的 状态 处 理 
这 个 模式 ， 直 到 它 达到 平衡 状态 。 网 络 达到 的 平衡 状态 就 是 从 记忆 中 检索 到 的 模式 。 在 11. 6.3 
节 ， 我 们 讨论 一 个 实现 异 相 关 记 忆 的 网 络 。 在 11. 6.4 节 ， 讨 论 自 相 关 记 忆 。 

这 些 记忆 模式 的 认 知 特性 是 很 有 意思 也 很 重要 的 。 它 给 我 们 提供 了 一 种 可 按 内 容 寻 址 的 记 
忆 。 这 种 相关 可 用 于 很 多 方面 ， 可 检索 电话 号 码 ， 从 旧 记忆 中 寻找 悲伤 的 感受 ， 甚 至 可 从 人 的 部 
分 脸 部 图 像 识 别人 。 很 多 研究 者 曾 试图 在 基于 符号 的 数据 结构 中 抓 住 这 些 记忆 中 的 关联 特征 ， 
包括 第 7 章 所 述 的 语义 网 、 框 架 和 对 象 系统 。 

吸引 子 定 义 为 一 个 状态 ， 在 一 个 邻 域 中 的 状态 都 随 着 时 间 的 推移 朝 吸 引子 转变 。 网 络 中 的 
每 一 个 吸引 子 都 有 一 个 邻 域 ， 在 这 个 邻 域 中 的 任何 网 络 状态 都 朝 吸 引子 转变 。 这 个 邻 域 叫 做 吸 
引子 的 基 。 一 个 吸引 子 可 由 一 个 网 络 状态 组 成 ， 也 可 由 一 系列 循环 的 网 络 状态 组 成 。 

为 了 从 数学 意义 上 理解 吸引 子 和 它们 的 基 ， 引 和 人 了 网 络 能 量 函 数 (Hopfield 1984) 的 概念 。 
带 有 能 量 函 数 的 反馈 网 络 ， 如 果 每 一 次 网 络 转换 都 会 减少 网 络 的 能 量 ， 则 可 保证 这 个 网 络 能 收 
敛 。 在 11.6.3 节 讨 论 这 种 网 络 。 

把 需要 的 模式 当 吸 引子 装载 在 记忆 中 ， 吸 引子 网 络 就 能 实现 内 容 可 寻 址 的 记忆 。 通 过 在 优 
化 问题 的 费用 函数 和 网 络 能 量 之 间 创 建 映射 关系 ， 它 也 可 用 来 解决 优化 问题 ， 例 如 巡回 推销 员 
问题 。 这 个 问题 的 解决 就 转换 成 了 减少 整个 网 络 能 量 。 这 类 问题 可 用 Hopfield 网 络 解决 。 


11.6.2 双向 联想 记忆 


双向 联想 记忆 (Bi-directional Associative Memo- 
I 了 ，BAM) 网 络 首先 由 Bart Kosko (1988) 提出 ， Y 
它 由 两 个 相互 连接 的 网 络 层 组 成 。 也 有 连接 到 自身 
的 反馈 连接 。 从 mn 维 输入 向 量 X, 到 m 维 输出 向 量 
Y。 的 BAM 映射 如 图 11-23。 因 为 从 X 到 Y 的 连接 
是 双向 的 ， 所 以 应 该 在 每 一 个 信息 流 或 连接 方向 上 
都 有 一 个 相应 的 权重 。 

像 线 性 联想 器 的 权 值 一 样 ，BAM 网 络 的 权 值 x 





x x2 xn 


也 可 事先 计算 出 来 。 实 际 上 ， 我 们 用 同样 的 方法 计 1 
算 BAM 的 网 络 权 值 。BAM 网 络 体系 结构 中 的 向 量 ”图 11-23 11.6.2 节 中 例子 的 BAM 网 络 每 一 
是 从 汉 明 向 量 集中 选取 。 个 结 点 还 有 可 能 连接 到 本 身 

假如 我 们 希望 存储 的 样本 集合 是 N 个 向 量 对 ， 
则 我 们 要 像 11. 5. 4 节 那 样 计 算 权 值 矩 阵 ; 


W =Y1* X1 + Yo* Xo + + Yt* Xt 


这 个 方程 给 出 了 从 X 层 到 Y 层 的 连接 权 值 ， 如 图 11-23 所 示 。 例 如 ，ws 是 从 X 层 的 第 二 个 结 点 
到 Y 层 的 第 三 个 结 点 的 连接 权 值 。 假 设 在 任意 两 个 结 点 之 间 只 有 一 条 路 径 ， 那 么 , 在 X 层 和 Y 
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层 的 结 点 之 间 连接 权 值 在 两 个 方向 上 是 一 样 的 。 于 是 ， 从 YY 层 到 X 层 的 权 值 矩阵 是 W 的 转 置 
和 矩阵 。 

在 关联 集合 | < X, ,X, >， <X,,X。 > ,…} 上 使 用 相同 的 权 值 初始 化 公式 ，BAM 网 络 就 转化 
成 了 自 相 关 网 络 ， 因 为 这 个 过 程 中 的 X 层 和 Y 层 是 相同 的 ， 我 们 可 不 用 Y 层 ， 于 是 产生 像 图 11-24 
所 示 的 网 络 。 在 11. 6. 4 节 将 看 到 自 相 关 网 络 的 例子 。 





图 11-24 .输入 向 量 1 的 自 相 关 网 络 
注 ; 我 们 假定 在 不 同 的 结 点 之 间 上 只 有 单个 连接 ， 于 是 ，wi = Wi ， 权 值 矩 阵 是 对 称 矩 阵 


用 输入 模式 初始 化 X 层 ，BAM 网 络 就 可 用 来 从 记忆 中 检索 模式 。 如 果 输 入 模式 有 噪声， 或 
者 是 不 完全 的 样本 ，BAM 网 络 通 常 能 完成 模式 ， 并 检索 到 关联 的 模式 。 

用 BAM 回忆 数据 ， 通 常 要 做 以 下 工作 : 

1) 把 初始 化 向 量 对 (X,Y) 当 作 处 理 元 素 。X 是 我 们 希望 用 来 检索 样本 的 模式 ，Y 被 随机 
初始 化 。 

2) 把 信息 从 X 层 传播 到 Y 层 ， 并 更 新 在 站 层 的 值 。 

3) 把 Y 层 的 更 新 信息 传 回 到 X 层 ， 更 新 X 单 元 。 

4) 继续 上 面 两 步 ， 直 到 向 量 稳定 ， 也 就 是 说 直到 在 X 层 和 Y 层 的 向 量 值 不 再 有 变化 。 

上 面 的 算法 表明 BAM 网 络 是 一 个 反馈 流 ， 它 双向 流通 ， 最 后 达到 平衡 。 在 上 面 的 算法 步骤 
中 ， 也 可 从 Y 层 开始 达到 收敛 ， 这 样 导 致 选择 的 是 X 样本 向 量 。 它 完全 是 双向 的 : 我 们 可 拿 X 
向 量 当 输入 ， 最 后 得 到 关联 向 量 Y; 也 可 把 Y 向 量 当 作 输 入 向 量 ， 最 后 返回 X。 在 下 一 节 我 们 会 
见 到 具体 的 例子 。 

在 收敛 时 ， 最 后 的 平衡 状态 返回 一 个 样本 模式 ， 这 个 模式 用 来 构建 原始 权 值 矩阵 的 。 如 果 所 
有 的 都 是 希望 的 ， 我 们 从 样本 向 量 对 中 拿 出 一 个 已 知 属性 的 向 量 ， 可 能 是 相同 的 ， 也 可 能 稍微 不 
同 。 我 们 就 用 这 个 向 量 去 检索 样本 对 中 的 另 一 个 向 量 。 这 里 用 的 距离 是 汉 明 距离 ， 汉 明 距 离 通过 
比较 向 量 间 的 分 量 来 度量 ， 计 算 不 同 分 量 的 个 数 。 因 为 标准 正 交 的 限制 ， 当 BAM 网 络 在 一 个 向 
量 收敛 时 ， 它 也 同时 在 它 的 补 向 量 处 收 化。 因此 提醒 大 家 的 是 吸引 子 的 补 向 量 也 会 转变 成 吸引 
子 。 我 们 将 在 下 一 节 给 出 一 个 这 样 的 例子 。 

有 几 个 因素 可 影响 BAM 网 络 的 收敛 。 如 果 太 多 的 样本 映射 到 权 值 矩阵 ， 则 样本 本 身 可 能 也 会 
太 近 ， 在 网 络 中 产生 假 稳定 。 这 种 现象 叫做 串扰 (crosstalk) ， 在 网 络 能 量 空间 的 局 部 最 小 处 出 现 。 

我 们 然后 主要 考虑 BAM 的 处 理 。 输 入 向 量 和 权 值 矩阵 的 乘积 计算 的 是 配对 向 量 的 乘积 ， 它 
的 值 对 应 输出 向 量 的 每 一 个 分 量 。 一 个 简单 的 阔 值 函数 把 结果 向 量 转换 成 了 汉 明 空间 中 的 向 量 。 
因此 有 : 


net (Y) = WX, 或 对 于 分 量 Yi，net(Yi) = wi * Xi 
对 于 X 层 是 相同 的 关系 。 在 t+1 时 刻 对 于 net (Y) 的 阔 值 函数 f 也 是 很 简单 的 : 


+1 若 net> 0 
fnett+1) = 4f(nett) 若 net=0 
-1 著 net <0 


甸 17 鞭 机 器 学 习 : 进 失 胡 币 345 





在 下 一 节 ， 我 们 用 几 个 具体 的 例子 阐述 双向 联想 记忆 。 
11.6.3 BAM 处 理 的 例子 


图 11-25 所 示 的 是 一 个 小 型 的 BAM 网 络 ， 它 是 11. 5. 4 节 介 绍 的 线性 联想 器 的 简单 变化 改造 
的 。 这 个 网 络 把 一 个 四 维 向 量 X 映射 到 一 个 三 维 向 量 Y。 假 定 我 们 想 创 建 两 个 样本 向 量 对 ， 


x1=[1,—1, -1 -1 Oy1=[1, 1,1] 
Xx2 = 六 1 -1, 一 1 1] © yz = [1, -1, 1] 





图 11-25 11.6.3 节 中 例子 的 BAM 网 络 
按照 上 一 节 所 示 的 公式 我 们 创建 权 值 矩阵 : 
W = Y1X1+ Y2X2t + YaXat + ... + YNXNt 


-1-1-11 lo-2-2 0 
11 1-1=|2 00-2 
-1-1-1 1 |0-2-2 0 


从 Y 映射 到 X 的 权 值 矩阵 是 W 的 转 置 : 


1-1-1-1 
W=1 -1 -1-1l+ 
1-1-1-1 








我 们 现在 选择 几 个 向 量 测 试 BAM 联想 器 。 先 从 一 个 样本 对 开始 ， 选 择 X 模式 ， 看 能 否 得 到 
Yo 让 X=[1, -1, -1, -1]: 

Y1 = (1*0) + (—1°—2) + (~1*-2) + (0*—1) = 4,f(4) = 1 

Ya = (1*2) + (-1*0) + (~1*0) + (—1*-2) = 4, fl4) = 1 

Y3 = (1*0) + (-1*—2) + (~—1*-2) + (-1*0) = 4, f(4) = 1 
可 见 ， 样 本 对 的 另 一 半 正 确 返 回 。 读 者 可 把 Y 向 量 当 输入 ， 看 能 和 否 正确 返回 原始 向 量 X= [1， 
-1,-1,-1]。 

对 于 下 一 个 例子 ， 向 量 X=[1,1,1, -1]， 向 量 Y 任 意 初始 化 。 我 们 用 BAM 映射 X， 

Y1 = (1*0) + (1°—2) + (12) + (—1*0) = —4, f(4) = —1 

Y2 = (1*2) + (1*0) + (1*0) + (—1*—2) = 4, f(4) = 1 

Ya = (1*0) + (1 一 2) + (1*—2) + (~1*0) = —4, f(4) = -1 
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经 过 闹 值 函数 1 作用 在 向 量 [ -4,4, -4] 上 ， 结果 是 [ -1,1, -1]。 从 Y 返 回 到 X， 

X1 = (-1*0) + (1*2) + (1* 0) =2 

X2 = (-1°-2) + (1*0) + (-1*-2) = 4 

Xa = (-1°-2) + (1*0) + (1*-2) = 4 

X4 = (1*0) + (1*-2) + (-1*0) = -2 

应 用 阔 值 函数 后 得 到 原始 向 量 [1, 1, 1,- 1] 。 因 为 在 第 一 次 变换 中 用 开始 的 向 量 产生 了 一 
个 稳定 的 结果 ， 我 们 可 认为 发 现 了 另外 一 个 原型 样本 对 。 实 际 上 ， 我 们 所 选择 的 例子 是 原始 向 量 
对 <X。，Y。 > 的 补 向 量 ! 在 证 明 : 在 BAM 网 络 中 ， 当 一 个 向 量 对 建立 了 一 个 稳定 的 样本 模型 ， 
它 的 补 向 量 也 是 稳定 的 模型 ，BAM 网 络 于 是 产生 了 另外 两 个 模型 ， 


X3 = 广 1 1 1 1] e> Y3 = 广 1, -1, -1] 
X4 = [1 1, 1, -1 < Y4 = [1, 1, -1] 


这 次 选择 靠近 样本 向 量 X 的 向 量 [1, -1,1, -1]。 注 意 ， 它 到 四 个 X 样本 向 量 的 最 近 汉 明 上 距离 
是 1。 然 后 任意 初始 化 向 量 Y 为 [ -1,-1, -1]: 

YE = (1*0) + (-1*—2) + (1z2) + (-1*0) = 0 

Ya2tH1 = (1*2) + (—1*0) + (1*0) + (—1*-2)=4 

Yast1= (1*0) + (1 2) + (1*-2) + (-1*0)=0 


当 yY”=0 时 ， 从 11.6.2 节 末 尾 的 阐 值 方程 可 得 到 f(Y#1) =f(Y')。 因 此 ， 由 于 任意 初始 化 时 
第 一 个 和 第 三 个 分 量 是 -1， 得 到 Y= [ -1,1, -1]。 然 后 从 Y 返回 到 X: 

X1 = (-1*0) + (1*2) + (-1* 0) = 2 

X2 = (1 一 2) + (1*0) + (-1*—2)= 4 

X3 = (人 1 一 2) + (1*0) + (一 1 一 2) = 4 

Xa = (1*0) + (1*-2) + (一 1*0) = -2 

阐 值 函数 把 这 个 向 量 映射 到 向 量 X= [1， 1,， 1，-1]。 我 们 重复 这 个 处 理 过 程 把 这 个 向 量 
返回 到 Y: 

Y1 = (1*0) + (1 二 2) + (1*-2) + (-1*0)= -4 

Y2 = (1*2) + (1*0) + (1*0) + (1*-2) = 4 

Ya3 = (1*0) + (1*-2) + (1*-2) + (-1*0) = -4 

阅 值 沙 数 应 用 到 [ -4,4, -4] 得 到 Y= [ -1,1, -1]。 这 个 向 量 与 最 近 返 回 的 向 量 是 相同 
的 ， 因 此 网 络 达到 了 稳定 。 这 表明 了 ， 经 过 BAM 网 络 的 两 次 处 理 ， 一 个 靠近 X., 的 模式 收敛 到 了 
稳定 的 样本 。 这 有 点 类 似 于 识别 一 个 部 分 信息 丢失 或 模糊 的 人 脸 和 其 他 存储 图 像 。 原 始 X 向 量 
[1, -1,1, -1] 和 原型 向 量 X, [1,1,1, -1|] 之 间 的 汉 明 距离 是 1。 这 个 向 量 归属 于 样本 对 
<X,,Y,>。 

在 BAM 网 络 的 例子 中 ， 我 们 从 样本 对 的 X 分 量 的 开始 处 理 。 当 然 ， 当 有 必要 时 ， 我 们 可 设 
计 和 例子 从 分 量 YY 开始， 初始 化 X 向 量 。 

Hecht-Nielsen (1990，p. 82) 发 表 了 对 BAM 网 络 很 有 意思 的 分 析 。 他 认为 支持 BAM 网 络 的 
线性 联想 器 网 络 具有 标准 正 交 的 特 人 性， 但 这 个 特性 是 一 个 非常 严格 的 限制 。 他 举 出 一 个 例子 
明 : 创建 一 个 这 样 的 网 络 的 要 求 是 向 量 线性 无 关 ， 也 就 是 说 ， 在 样本 空间 中 一 个 向 量 不 能 通过 其 
他 向 量 的 线性 组 合 得 到 。 
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11. 6.4 自 相 关 记 忆 和 Hopfield 网 络 


John Hopfield 是 加 利 福 尼 亚 州 技术 研究 院 的 物理 学 家 ， 他 的 研究 构成 了 现在 连接 体系 结构 具 
有 可 靠 性 的 重要 理由 。 他 用 物理 中 能 量 最 小 化 的 概念 研究 网 络 收敛 的 属性 。 在 此 原理 上 它 也 设 
计 了 一 个 大 家 非常 熟悉 的 网 络 。 作 为 一 个 物理 学 家 ，Hopfield 把 物理 现象 的 稳定 状态 理解 成 物理 
系统 的 能 量 最 小 。 这 种 方法 的 一 个 具体 例子 是 模拟 金属 冷却 中 退火 分 析 。 

首先 复习 一 下 反馈 关联 网 络 的 基本 特征 。 这 些 网 络 从 一 个 包括 输入 向 量 的 状态 开始 。 然 后 
网 络 通过 反馈 路 径 处 理 这 些 信号 ， 直 到 它 达 到 一 个 稳定 状态 。 为 了 能 使 这 个 体系 结构 当 作 一 个 
联想 记忆 ， 我 们 希望 网 络 具 有 两 个 属性 。 第 一 ， 从 一 个 初始 状态 开始 ， 我 们 必须 保证 网 络 将 收敛 
到 某 个 稳定 状态 。 第 二 ， 我 们 希望 这 个 稳定 状态 在 某 种 一 定 的 距离 测度 中 最 靠近 输入 状态 。 

先 看 一 个 自 相关 网 络 ， 它 的 构建 规则 同 BAM 网 络 相 同 。 上 一 节 提 到 过 使 样本 对 中 的 X 和 Y 
相同 ， 则 可 把 BAM 网 络 转换 成 一 个 自 相关 网 络 。 这 个 转换 的 结果 就 是 一 个 对 称 的 权 值 矩 阵 。 
11. 6.2 节 的 图 11-24 提供 了 一 个 例子 。 

存储 了 一 系列 样本 向 量 {X,, X:，…, Xn} 的 自 相关 网 络 的 权 值 矩阵 由 以 下 公式 计算 ; 


W = ZXiXi 对 于 1=1, 2， … 


当 我 们 从 蜡 相 关 网 络 创建 自 相关 网 络 时 ， 从 x; 结 点 到 x 结 点 的 权 值 与 从 x 到 x 是 相同 的 ， 
因此 权 值 矩阵 是 对 称 和 矩阵 。 这 个 假设 只 需要 处 理 的 两 个 结 点 只 有 一 条 路 径 和 一 个 权 值 相互 连接 。 
我 们 有 时 也 有 一 些 特殊 的 要 求 : 网 络 中 的 结 点 没有 连接 到 自身 的 ， 也 就 是 说 ， 没 有 x 到 x 的 连 
接 。 在 这 种 情形 中 主 对 角 线 上 的 元 素 都 为 0。 

跟 BAM 网 络 一 样 ， 用 存储 记忆 的 模式 计算 权 值 矩 阵 。 我 们 用 一 个 简单 的 例子 阐明 这 一 点 。 
考虑 以 下 的 3 个 向 量 样 本 集 : 

X1= [1, -1, 1,—1, 1] 

X2 = 广 1, 1, 1, -1, -1] 

Xs = [1, 1, -1, 1, 1] 


下 面 我 们 用 公式 W= ZX Xi (i=1, 2,3) 计算 : 


我 们 用 的 益 值 函数 是 ， 


+1 车 net>0 
f(nett+ 1) = 1f(nett) 车 net=0 
-1 若 net <0 
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我 们 用 样本 X, = [1,1, —1,1,1] 测试 网 络 ， 得 到 : 
Xa3* W=[7, 3,—9, 9, 7] 


用 闭 值 函数 得 到 [1,1, -1,1,1]。 可 见 这 个 向 量 马 上 自身 达到 稳定 状态 。 这 表明 样本 向 量 是 它 
本 身 的 稳定 状态 或 者 吸引 子 。 

现在 测试 一 个 与 样本 Xs 汉 明 距离 为 1 的 向 量 。 网 络 必须 返回 这 个 样本 。 这 与 从 部 分 退化 的 
数据 中 检索 记忆 模式 是 等 价 的 。 选 择 X= [1,1,1,1,1]: 


X*W = [5, 1, -3, 3, 5] 


用 阔 值 函数 得 到 向 量 X。 [1 ， -1, -1,1,1]。 
现在 来 看 第 三 个 例子 ， 这 次 向 量 离 原型 最 近 的 汉 明 距离 是 2, 让 X= [1, -1, -1,1, -1]， 
可 验证 这 个 向 量 离 Xs 的 汉 明 距离 是 2， 离 X, 的 汉 明 距离 是 3， 离 X, 的 汉 明 距离 是 4。 我 们 开始 : 


X*W =[3, -1, -5,5,3] ， 用 冰 值 函数 得 到 [ 1， 一 1， —1,1,1] 
这 不 与 任何 样本 相似 ， 也 不 是 稳定 点 ， 因 为 : 
[1, -1, -1,1,1] * W=[9, -3, -7,7,9] 对 应 [1, -1, -1,1,1] 


网 络 达到 稳定 ， 但 是 不 与 记忆 中 存储 样本 相似 ! 是 不 是 发 现 了 另外 一 个 能 量 最 小 点 ? 更 进一步 观 
察 可 得 ， 新 向 量 是 样本 X = [ -1,1,1, -1, -1] 的 补 向 量 。 与 异 相关 的 BAM 网 络 的 情形 一 样 ， 
自 相关 网 络 在 为 原样 本 创建 吸引 子 的 同时 ， 也 为 它 的 补 向 量 创建 了 吸引 子 。 这 样 我 们 总 共有 6 个 
吸引 子 。 

在 上 面 所 述 中 ， 我 们 看 到 了 基于 线性 联想 器 记忆 模型 的 自 相关 网 络 。John Hopfield 的 目标 是 
给 出 一 个 通用 自 相关 网 络 ， 它 能 应 用 于 任何 单 层 网 络 ， 满 足 一 定 的 约束 集合 。 对 这 一 类 单 层 神经 
网 络 ，Hopfield 证 明了 总 存在 一 个 网 络 能 量 函 数 ， 它 可 保证 网 络 收敛 。 

Hopfield 的 更 进一步 的 目标 是 在 处 理 神经 元 时 ， 用 更 接近 连续 时 间 的 方式 代替 离散 时 间 。 一 
种 普通 的 模拟 用 连续 时 间 异 步 更 新 Hopfield 网 络 的 方法 是 单独 更 新 各 个 结 点 ， 而 不 是 更 新 整个 网 
络 层 。 实 现 它 时 用 一 个 随机 选择 的 过 程 挑选 要 更 新 的 下 一 个 结 点 ， 同 时 会 用 一 些 方法 保证 网 络 
中 的 所 有 结 点 将 平等 机 会 地 得 到 更 新 。 

Hopfield 网 络 的 结构 跟 上 面 所 讲 的 自 相关 网 络 是 相同 的 ; 单个 网 络 层 中 的 所 有 结 点 都 相互 连 
接 ( 见 图 11-23)。 激 励 和 阐 值 函数 也 同 前 面 一 样 工作 。 对 于 结 点 i， 


+1 若 Sw? > Ti 
Xew = xpld amd - = Ti 
—1 wx <Ti 
j 
对 于 给 定 的 这 个 结构 ， 需 要 设 定 一 个 更 进一步 的 限制 来 刻画 一 个 Hopfield 网 络 。 如 果 WwW 是 


从 结 点 1 到 结 点 j 的 连接 权 值 ，Hopfield 网 络 的 权 值 有 如 下 的 限制 : 

Wi =0 对 所 有 的 i 

Wi = Wi 对 所 有 的 j 和 j 
Hopfield 网 络 并 没有 与 之 相关 的 典型 的 学 习 算法 ， 像 BAM 网 络 一 样 ， 它 的 权 值 通常 是 预先 计算 
出 来 的 。 
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Hopfield 网 络 的 行为 比 任何 其 他 类 型 的 网 络 都 好 理解 ， 除 了 感知 机 之 外 。 因 为 它 的 行为 可 用 
一 个 Hopfield 发 明 的 简洁 能 量 函 数 来 刻画 ; 


H(X) = -wiixixj+2》 Tixi 
T 


这 个 能 量 函 数 具 有 这 样 的 属性 : 网 络 的 每 一 次 转换 都 会 减少 整个 的 网 络 能 量 。 假 如 H 有 一 
个 预先 确定 的 最 小 值 ， 且 每 次 H 的 减少 量 至 少 是 一 个 确定 的 最 小 值 。 于 是 可 推导 出 从 网 络 的 任 
何 状态 都 可 收敛 。 

对 于 任意 处 理 元 素 k， 它 是 最 近 更 新 的 结 点 ，k 改变 当 且 仅 当 H 的 值 减少 。 能 量 的 改变 量 
AH 是 ; 


AH = H(Xnew) — H(Xold) 
用 H 的 定义 式 蔡 代 这 个 方程 得 : 


AH = -2 2 Wijxpewxew-2》 Tixpew 十 > wixpdxpua 十 2yTixpld 
了 i 了 i 


因为 只 有 xx 发 生变 化 ， 对 于 不 等 于 k 的 结 点 1 有 : xf"" =x”， 这 意味 着 总 和 中 不 包含 x, 的 项 相 
互 抵消 。 整 理 上 式 得 到 : 


AH = -2xRew" 2 WwWkjxpew +2TkXRew + 2xRgq > wkjxpld 一 2Tkxpld 
j j 


还 有 w =0，wi = Wi， 上 面 公 式 最 终 写成 : 


AH = 2(x8o - xRe™)| Dwixp 一 Th 
j 


为 了 说 明 AH 是 一 个 负 值 ， 我 们 考虑 两 种 情形 。 第 一 ， 假 设 X 从 -1 到 +1。 为 了 使 x™ 是 
+1， 方 括号 的 项 必须 是 负 值 ， 因 为 xs - xie” 等 于 -2，AH 又 必须 为 负数 。 假 如 x, 从 1 到 -1， 
出 于 同样 的 理由 ，H 必须 是 负数 。 如 果 x, 没有 发 生变 化 ，x8s - xie" =0 于 是 AH =0。 

于 是 可 给 出 结论 ， 从 任何 状态 出 发 网 络 都 可 收敛 。 更 进一步 ， 网 络 的 收敛 状态 必定 是 局 部 能 
量 最 小 点 。 如 果 不 是 的 话 ， 必 定 存在 一 个 变化 ， 它 可 进一步 减少 网 络 整体 能 量 ， 更 新 选择 算法 将 
逐步 地 选择 这 个 结 点 进行 更 新 。 

在 实现 自 相关 记忆 的 网 络 中 ，Hopfield 网 络 需要 两 个 属性 。 然 而 ， 我 们 将 会 看 到 Hopfield 网 
络 并 不 一 定 总 是 具有 第 二 个 属性 : 它们 收敛 的 稳定 状态 并 不 一 定 是 初始 状态 。 到 目前 对 这 个 问 
题 还 没有 通用 的 解决 方法 。 

Hopfield 网 络 可 用 来 解决 优化 问题 ， 例 如 巡回 推销 员 问 题 。 为 了 解决 这 问题 设计 者 必须 找到 
一 个 方法 把 问题 的 费用 函数 对 应 到 Hopfield 能 量 函数 。 在 能 量 减少 的 过 程 中 ， 网 络 也 将 减少 相应 
问题 的 费用 。 尽 管 对 于 一 些 有 趣 的 问题 (例如 巡回 推销 员 问 题 ) 这 样 的 对 应 关系 已 经 被 发 现 ， 
但 一 般 来 说 ， 从 问题 状态 到 能 量 状态 的 映射 是 很 难 找到 的 。 

在 这 一 节 介绍 了 蜡 相关 和 自 相关 反馈 网 络 。 我 们 分 析 了 这 些 网 络 的 动态 属性 ， 展 示 了 一 些 
例子 表明 系统 怎样 朝 吸 引子 演变 。 我 们 阐述 了 怎样 将 线性 联想 器 网 络 改 造成 叫做 BAM 的 吸引 子 
网 络 。 在 讨论 连续 时 间 的 Hopfield 网 络 时 ， 看 到 了 网 络 行为 可 以 用 能 量 函 数 来 描述 。 因 为 
Hopfield 网 络 的 每 一 步 变换 都 减少 网 络 整体 能 量 ， 因 此 这 类 网 络 可 保证 收敛 。 

这 里 连接 网 络 的 能 量 解决 方法 依然 还 有 一 些 问题 。 第 一 ， 到 达 的 能 量 状态 不 一 定 是 系统 全 
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局 最 小 点 。 第 二 ，Hopfield 网 络 不 一 定 收 敛 在 离 输 入 向 量 最 近 的 吸引 子 ， 这 使 得 它 不 适合 实现 内 
容 可 寻 址 记忆 。 第 三 ， 用 Hopfield 网 络 进行 优化 时 ， 没 有 通用 的 方法 创建 从 约束 到 Hopfield 能 量 
表 数 的 映射 。 最 后 ， 能 够 用 于 网 络 存储 和 检索 的 能 量 郴 数 极 小 点 的 数目 是 受 限制 的 ， 而 且 更 重要 
的 是 ， 这 个 数目 不 能 精确 设 定 。 网 络 的 经 验 测 试 表 明 吸 引子 的 数目 是 网 络 中 结 点 数目 的 一 小 部 
分 。 这 些 和 其 他 的 主题 都 正在 研究 之 中 (Hecht-Nielsen 1990，Zurada 1992 ，Freeman and Skapura 
1991)。 

基于 生物 学 的 方法 (例如 遗传 算法 和 细胞 自动 机 〉 试 图 模仿 隐 伟 在 生命 进化 中 的 学 习 规律 。 
这 些 模 型 的 学 习 方 式 是 并 行 的 、 分 布 式 的 。 例 如 ， 在 遗传 算法 中 模式 的 群体 数目 代表 了 解决 问题 
的 候选 解决 方案 。 在 算法 循环 过 程 中 ， 这 些 模式 群体 通过 复制 、 变 异 、 选 择 等 操作 进行 演化 。 我 
们 在 第 12 章 讨 论 这 种 方法 。 


11.7 结语 和 参考 文献 


在 这 一 章 我 们 介绍 了 连接 学 习 。 在 11. 1 节 我 们 对 历史 进行 了 回顾 。 要 了 解 历 史 ， 还 可 以 参 
阅 McCulloch 和 Pitts (1943)，Oliver Selfridge (1959 ) ，Claude Shannon (1948 ) ， 和 Frank Rosenb- 
latt (1958 ) 。 早 期 心理 学 模型 也 是 很 重要 的 ， 尤 其 是 Donald Hebb (1949) 。 认 知 科学 家 继续 在 探 
索 认 知 和 脑 体系 结构 的 关系 。 当 代 的 资源 包括 有 : 《An Introduction to Natural Computation》 ( Bal- 
lard 1997) 、《Artificial Minds》 (Franklin 1995)、 《The Cognitive Neuro science of Action》 (Jeannerod 
1997) 以 及 《Rethinking Innateness: A Connectionist Perspective on Development》 (Elman et al 1996 ) 。 

我 们 没有 重点 阐述 连接 体系 结构 的 数学 和 可 计算 性 方面 的 特点 。 想 对 它 有 个 大 致 了 解 的 话 
我 们 推荐 Robert Hecht-Nielsen (1990 ) 、James Freeman 和 David Skapura (1991)、Jacek Zurada 
(1992) 以 及 Nello Cristianini 和 John Shawe-Taylor (2000)。Christopher Burges (1988) 写 了 一 本 
极 好 的 关于 支持 向 量 机 的 教程 。Bertsekas 和 Tsitsiklis (1996) 介绍 了 神经 动态 规划 。 关 于 连接 应 
用 可 以 参考 P.M.，Bhagat (2005) 的 《Pattem Recognition in Industry》。 

研究 学 习 机 制 的 科学 家 在 知识 的 表示 和 可 计算 性 等 方面 还 有 很 多 问题 需要 考虑 。 这 些 问题 
包括 网 络 的 体系 结构 和 联接 选择 ， 决 定 环境 的 哪些 认 知 参数 需要 处 理 ， 输 出 结果 的 意义 等 。 也 包 
括 神 经 元 - 符号 混合 系统 ， 以 及 这 些 东 西 对 智能 的 特性 有 什么 影响 。 

反 传 网 络 也 许 是 连接 体系 结构 中 用 得 最 普遍 的 网 络 ， 因 此 我 们 对 它 的 起 源 、 应 用 以 及 发 展 
给 予 了 详细 的 讨论 。《Parallel Distributed Processing》 (Rumelhart et al. 1986b ) 的 两 卷 从 计算 性 和 
认 知 工具 的 角度 介绍 了 神经 网 络 。《Neural Networks and Natural Intelligence》 (Grossberg 1988) 是 
另 一 篇 对 这 个 主题 的 完整 介绍 。 

应 用 反 传 网 络 时 也 还 有 很 多 的 问题 ， 包 括 隐 含 层 的 数目 及 隐 含 层 中 结 点 的 数目 ， 选 择 训练 
集合 ,调节 学 习 常量 ， 偏 置 结 点 的 使 用 ， 等 等 。 这 些 课题 可 以 归 入 一 般 的 标题 “ 归纳 偏 置 ”: 知 
识 的 作用 、 期 望 以 及 可 供 问 题 求解 器 找 出 求解 方案 的 工具 。 我 们 将 在 第 16 章 讨论 这 些 问题 。 

很 多 连接 体系 结构 的 设计 者 对 他 们 的 工作 都 有 描述 。 包 括 John Anderson 等 〈1977) 、Stephan 
Grossberg (1976 ，1988 ) 、Geoffrey Hinton 和 Terrance Sejnowski (1986)、 Robert Hecht - Nielsen 
(1989，1990) 、John Hopfield (1982, 1984)、Tuevo Kohonen (1972 ，1984 ) 、Bart Kosko (1988 ) 
以 及 Carver Mead (1989)。Michael Jordan (1999 ) 和 Brendan Frey (1998) 提出 了 很 多 现代 的 方 
法 (包括 图 示 模 型 ) 。Christopher Bishop (1995) 写 了 一 本 很 好 的 相关 教科 书 。 


11.8 习题 
1. 构建 一 个 McCulloch - Pitts 神经 元 ， 它 能 计算 逻辑 函数 蕴涵 “一 ”。 
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9. 








. 用 LISP 语言 构建 一 个 感知 机 网 络 ， 并 运行 11. 2. 2 节 的 分 类 的 例子 。 


a) 产生 一 个 与 表 11-3 类 似 的 数据 集 ， 在 其 上 运行 分 类 器 程序 。 
b) 取 运 行 分 类 器 程序 的 结果 并 用 权 值 去 确定 该 线性 可 分 集合 的 类 别 。 


. 用 LISP 语言 或 C+ + 实现 反 传 网 络 ， 并 用 它 解决 11. 3. 3 节 的 蜡 或 问题 。 尝 试用 不 同 的 反 传 体系 结构 解 


决 异 或 ， 也 许可 用 两 个 隐 含 结 点 和 没有 偏 置 结 点 的 结构 。 比 较 不 同体 系 结构 的 网 络 的 收敛 速度 。 


. 用 LISP 语言 或 C+ + 实现 Kohonen 网 络 ， 并 用 它 对 表 11-3 中 数据 进行 分 类 。 与 11.2. 2 节 和 11.4.2 节 中 


的 结果 进行 比较 。 


. 写 一 个 道 传 网 络 实现 异 或 问题 。 并 与 11. 3. 3 节 的 反 传 网 络 的 结果 进行 比较 。 用 逆 传 网 络 分 辩 表 11-3 中 


的 类 别 。 


. 用 反 传 网 络 识别 10 个 (手写) 数字 。 一 种 方法 是 创建 一 个 4 x6 的 点 阵 。 当 一 个 数 被 写 在 这 个 网 格 上 


时 ， 它 将 覆盖 一 些 元 素 ， 这 些 元 素 取 值 为 1， 其 他 的 取 值 为 0。 这 个 24 个 元 素 的 向 量 将 构成 你 的 网 络 的 
输入 。 你 要 创建 你 自己 的 训练 向 量 。 用 北 传 网 络 做 相同 的 事 ， 然 后 比较 结果 。 


. 选择 一 个 与 我 们 在 11. 5.2 节 使 用 的 不 同 的 输入 模式 ， 用 无 监督 的 Hebbian 学 习 算法 识别 这 个 模式 。 
. 在 11.5.4 节 中 ， 用 线性 联想 器 算法 使 两 个 向 量 对 关联 。 选 择 第 三 个 (新 的 ) 关联 向 量 对 ， 并 解决 相同 


的 问题 。 然 后 测试 你 的 线性 联想 器 是 否 是 插入 模式 ; 也 就 是 说 ， 它 能 关联 到 与 之 邻近 的 样本 的 遗失 ? 使 
你 的 线性 联想 器 自 相 关 。 

考虑 11. 6. 3 节 中 的 双向 联想 记忆 (BAM) ， 改 变 例子 中 给 出 的 关联 向 量 对 ， 为 关联 创建 权 值 矩 阵 。 选 择 
新 的 向 量 并 测试 你 的 BAM 联想 器 。 


10. 描述 BAM 记忆 和 线性 联想 器 的 区 别 。 什 么 是 串扰 《crosstalk) ， 它 是 怎样 进行 干扰 的 ? 
11. 构建 一 个 Hopfield 网 络 解决 十 个 城市 的 巡回 推销 员 问 题 。 
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对 于 这 种 在 悠久 年 代 中 发 生 作 用 并 严格 检查 每 一 生物 的 整个 组 成 、 构造 和 习性 一 一 助长 好 
的 并 排除 坏 的 一 一 的 力量 能 够 加 以 限制 吗 ? 对 于 这 种 缓慢 地 并 美妙 地 使 每 一 类 型 适应 于 最 复杂 
的 生命 关系 的 力量 ， 我 无 法 看 到 有 什么 限制 。 
一 一 查尔斯 ， 达尔 文 , 《物种 起 源 》 
预言 的 第 一 定律 : 
如 果 一 位 德高望重 的 科学 家 指出 某 件 事 是 可 能 的 ， 那 他 几乎 青 定 是 正确 的 。 如 果 他 说 某 件 
事 是 不 可 能 的 ， 那 他 也 许 是 非常 错误 的 。 
第 二 定律 : 
要 发 现 某 件 事情 是 否 可 能 的 界限 ， 疏 一 的 途径 是 跨越 这 个 界限 ， 从 不 可 能 跑 到 可 能 中 去 。 
第 三 定律 ， 
任何 非常 先进 的 技术 ， 初 看 都 与 魔法 无 异 。 
一 一 阿 瑟 .查尔斯 克拉克,， 《未 来 的 轮 廊 》 


12. 0 ”社会 性 和 涌现 性 的 学 习 模型 


就 像 连接 网 络 从 创建 人 工 神经 系统 的 工作 中 得 到 最 初 的 支持 和 灵感 ， 同 样 的 也 有 很 多 的 后 
物 类 比方 法 影响 了 机 器 学 习 算 法 的 设计 。 这 一 章 考 虑 遵循 基本 演化 过 程 形成 的 学 习 算法 ; 通过 
适 者 生存 的 个 体形 成 群体 。 跨 越 不 同 个 体 群体 的 选择 能 力 , 已 经 展现 在 物种 自然 进化 的 必然 过 
程 中 以 及 基本 文明 变革 的 社会 进程 中 。 这 些 在 细胞 自动 机 、 遗 传 算法 、 遗 传 程序 设计 、 人 工 生 命 
及 其 他 的 涌现 计算 的 研究 中 得 到 形式 化 。 

涌现 学 习 模型 模仿 大 自然 中 最 优美 、 最 强大 的 适应 形式 : 植物 和 动物 的 生命 演化 形式 。 达 和 尔 
文 认为 :“…… 对 于 这 种 缓慢 地 并 美好 地 使 每 一 类 型 适应 于 最 复杂 的 生命 关系 的 力量 ， 我 无 法 看 
到 有 什么 限制 ……”。 在 连续 的 世代 中 注入 变异 ， 有 选择 地 淘汰 适应 性 低 的 个 体 ， 通 过 这 样 简单 
的 过 程 ， 生 物体 的 适应 能 力 得 到 提高 ， 在 群体 中 呈现 个 体 的 多 样 性 。 演 化 和 涌现 出 现在 包含 个 体 
的 群体 中 。 个 体 的 行为 影响 其 他 个 体 ， 反 过 来 ， 它 也 受 其 他 个 体 的 影响 。 因 此 ， 选 择 的 压力 不 仅 
来 自 外 部 环境 ， 而 且 也 来 自 群体 中 个 体 相 互 作 用 中 。 一 个 生态 系统 包含 很 多 成 员 ， 每 一 个 成 员 都 
充当 一 定 的 角色 ， 都 有 适应 生存 的 一 定 技能 ， 但 更 重要 的 是 ， 它 的 积累 的 行为 影响 群体 中 的 其 他 
成 员 ， 同 时 也 受 其 他 成 员 的 影响 。 

因为 它们 的 简单 性 ， 潜 在 的 进化 过 程 是 非常 普遍 的 。 在 生物 中 通过 基因 改变 的 选择 ， 生 物 进 
化 产生 了 物种 。 同 样 ， 在 文化 进化 中 ， 通 过 对 信息 的 社会 传播 和 改进 产生 了 知识 。 通 过 对 候选 问 
题解 决 办 法 的 操作 ， 遗 传 算法 和 其 他 类 似 的 算法 就 具有 增 量 式 解决 问题 的 能 力 。 

当 遗 传 算法 用 于 求解 问题 时 ， 它 有 三 个 明显 的 阶段 : 第 一 阶段 ， 问 题 领域 单独 的 潜在 解决 方 
案 要 编码 成 这 样 的 形式 ， 它 们 支持 必要 的 变化 和 选择 操作 ; 通常 ， 这 种 表示 是 类 似 于 位 串 的 形 
式 。 第 二 阶段 ， 交 配 和 变异 算法 ， 它 和 生物 有 性 繁殖 的 形式 类 似 ， 它 会 产生 新 的 后 代 ， 这 种 后 代 
组 合 了 双亲 的 特征 。 最 后 ， 适 应 范 数 判断 哪 种 个 体 是 最 优 的 个 体 ， 也 就 是 说 ， 最 适合 逐步 解决 这 
个 问题 。 这 样 的 个 体 容易 生存 、 复 制 ， 形 成 下 一 代 洪 在 的 解决 方案 。 逐 渐 地 ， 将 形成 这 样 一 化 个 
体 ， 它 们 可 当 作 问题 的 解决 办 法 去 解释 问题 领域 中 的 问题 。 

遗传 算法 也 可 用 更 加 复杂 的 表示 方法 ， 包 括 产生 式 规则 ， 为 了 适应 与 环境 的 相互 作用 形成 
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相应 的 规则 集 。 例 如 ， 遗 传 程 序 设 计 就 是 组 合 和 变化 计算 机 代码 的 程序 段 ， 试 图 形成 一 个 程序 解 
决 诸如 提取 数据 集中 不 变量 等 问题 。 

社会 交互 学 习 的 例子 能 从 生命 游戏 这 个 游戏 中 看 出 ， 这 个 游戏 最 早 由 数学 家 John Horton 
(1970，1971) 发 明 ， 然 后 被 Martin Gardner 在 《Scientific American》 推 广 。 在 这 个 游戏 中 ， 个 体 
的 产生 、 生 存 或 死亡 状态 是 它 自 己 状态 及 它 邻 域 中 个 体 状态 的 函数 。 典 型 地 ， 很 少数 量 的 规则 
(通常 是 三 四 个 ) 就 可 充分 定义 这 个 游戏 。 尽 管 它 简单 ， 但 是 这 个 生命 游戏 的 实验 表明 它 能 进化 
出 有 非凡 的 复杂 性 和 能 力 的 结构 ,包括 可 自我 复制 的 多 细胞 “组 织 ” (Poundstone 1985 ) 。 

人 工 生命 的 一 种 很 重要 的 方法 是 通过 有 限 状 态 自动 机 的 相互 作用 模仿 生物 进化 的 条 件 ， 用 
一 个 状态 集合 和 转换 规则 集合 完成 其 功能 。 这 些 细胞 自动 机 能 从 它们 自身 以 外 接收 信息 ， 尤 其 
是 从 它们 的 邻 域 中 。 转 换 规 则 包括 产生 指令 、 继 续 生 命 指 令 和 死亡 指令 。 当 这 些 细胞 自动 机 群体 
比较 分 散 地 设 定 在 领域 中 ， 且 可 以 像 异 步 并 行 操作 的 合作 主体 一 样 行动 时 ， 我 们 有 时 可 见 到 这 
种 看 似 独立 的 “生命 形式 ”的 进化 。 

另 一 个 例子 是 Rodney Brooks (1986，1987) 和 他 的 学 生 们 设计 制造 的 简单 机 器 人 ， 这些 机 
器 人 像 自治 的 主体 一 样 可 解决 实验 环境 中 的 问题 。 这 里 没有 中 央 控 制 算法 ， 而 是 出 现 像 个 体 的 
分 布 式 的 和 自治 的 相互 作用 一 样 的 合作 。 人 工 生 命 学 界 有 定期 的 会 议和 刊物 ， 反映 他 们 的 工作 
(Langton 1995 ) 。 

在 12. 1 节 介 绍 采 用 遗传 算法 (Holland 1975) 的 进化 或 基于 生物 学 的 模型 ， 遗 传 算法 是 一 种 
学 习 方 法 ， 它 利用 并 行 性 、 相 互 交互 ， 并 通常 采用 位 级 的 表示 方法 。12.2 节 介 绍 分 类 器 系统 和 
遗传 程序 设计 ， 与 遗传 算法 相 比 ， 这 是 一 个 新 的 研究 领域 ， 它 采用 更 复杂 的 表示 方法 ， 例 如 建立 
和 提 烘 产生 式 规 则 集 (Holland et al. 1986) ， 生 成 和 调试 计算 机 程序 ( Koza 1992) 。12. 3 节 介 绍 
人 工 生命 (Langton 1995)。12.3 节 开 始 介 绍 “ 生 命 游戏 ”， 在 结尾 介绍 了 来 自 圣 达 菲 研究 所 的 一 
份 研究 报告 (Cmtchfield and Mitchell 1995) ， 其 中 讨论 了 涌现 性 行为 。 


12. 1 遗传 算法 


跟 神 经 网 络 一 样 ， 遗 传 算法 也 是 仿生 算法 ， 它 们 把 学 习 看 作 是 在 进化 的 候选 问题 解决 方案 
群体 中 的 一 种 竞争 。 适 应 函数 评估 每 一 个 方案 ， 然 后 决定 它 是 否 对 下 一 代 方 案 的 形成 做 出 贡献 。 
通过 类 似 于 染色 体 中 基因 转换 的 操作 方法 ， 算 法 生成 新 一 代 的 候选 解决 方案 。 

假如 P 人 定义 了 一 个 候选 解决 方案 群体 ，xi 在 时 刻 t: 


P(t) = {Xx ,Xb,...,xt} 


下 面 是 遗传 算法 的 一 般 形 式 : 


procedure genetic algorithm; 


begin 
set time t:= 0; 
initialize the population P(t); 
while the termination condition is not met do 
begin 
evaluate fitness of each member of the population P(t); 
select members from population P(t) based on fitness; 
produce the offspring of these pairs using genetic operators; 
replace, based on fitness, candidates of P(t), with these offspring; 
set time t :=t +1 
end 
end 
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这 个 算法 清晰 明白 地 说 明了 遗传 学 习 的 基本 框架 ; 这 个 算法 的 不 同 实现 用 不 同 的 方法 例 示 
了 这 个 框架 。 和 群体 保留 的 比例 有 多 大 ? 配对 和 产生 后 代 的 比例 有 多 大 ? 遗传 算法 怎么 应 用 ， 对 谁 
应 用 ?“ 替 代 P(t) 中 最 弱 的 候选 个 体 ”的 过 程 也 许 用 这 样 简单 的 过 程 : 删除 固定 比例 的 最 弱 的 
候选 个 体 。 更 复杂 一 些 的 方法 也 许 是 用 适应 度 对 群体 排序 ， 然 后 计算 它 被 删除 的 概率 ， 这 个 概率 
是 适应 度 的 反 函 数 。 最 后 ， 蔡 代 算 法 用 这 个 概率 选择 要 被 删除 的 候选 个 体 。 尽 管 对 于 群体 中 最 好 
的 个 体 它 的 删除 概率 很 低 ， 但 是 这 个 最 好 的 个 体 依 然 有 被 删除 的 可 能 。 这 个 算法 的 优点 是 : 它 可 
以 保存 这 样 的 个 体 ， 它 的 全 局 适应 度 很 低 ， 但 是 它 的 分 量 对 产生 强大 的 个 体 有 贡献 。 这 个 痊 代 算 
法 有 很 多 叫 法 ， 包 括 蒙 特 卡 罗 方 法 、 知 应 度 按 比例 选择 方法 和 轮 盘 赌 轮 选择 方法 。 

尽管 在 12.1.1 节 将 介绍 一 些 更 复杂 的 表示 方法 ， 但 是 在 这 里 还 是 要 介绍 与 遗传 算法 相关 的 
简单 的 表示 方法 ， 它 用 简单 的 字符 串 表示 问题 解决 方案 。 例 如 ， 假 设 我 们 要 用 遗传 算法 学 习 对 0 
和 1 组 成 的 字符 串 进 行 分 类 。 我 们 用 1、0 和 # 的 模式 代表 字符 串 群 体 ， 其 中 # 是 一 个 通用 匹配 符 ， 
它 既 可 匹配 1， 也 可 匹配 0。 因此 ， 模 式 1###00 寿 1 代表 的 是 有 8 个 位 的 字符 串 ， 它 以 1 开头 和 结 
尾 ， 中 间 是 两 个 0。 

遗传 算法 用 一 个 候选 模式 群体 初始 化 P(0) 。 一 般 情况 下 ， 初 始 化 群体 任意 选择 。 假 定 有 一 
个 适应 度 函 数 人 (x!) 评估 每 一 个 候选 方案 ，f(xi) 返回 时 刻 t 时 候选 个 体 的 适应 度 。 一 个 普通 的 候 
选 个 体 适应 度 测度 方法 在 一 个 训练 例子 集中 测试 ， 返 回 正确 分 类 的 百分比 。 用 这 样 的 一 个 适应 
函数 ， 赋 给 每 个 候选 个 体 适 应 值 : 


f(xi)/m(P, t) 


其 中 m(P, 了 ) 是 整个 群体 的 平均 适应 值 。 显 然 ， 适 应 度 值 会 随 着 时 间 的 改变 而 改变 ， 因此， 适应 
度 是 整个 问题 解决 方案 阶段 的 函数 ， 即 f(xi) 。 

对 每 一 个 候选 个 体 评估 后 ， 算 法 选择 两 个 个 体重 新 组 合 。 重 新 组 合 使 用 遗传 工 子 《genetic 
operator) ， 产 生 新 的 个 体 ， 新 个 体 由 双亲 分 量 组 合 而 成 。 按 照 自 然 进化 规律 ， 候 选 个 体 适 应 值 决 
定 了 它 复 制 可 能 性 的 大 小 ， 适 应 值 大 的 个 体 它 被 复制 的 可 能 性 也 大 。 就 如 上 面 所 述 ， 选 择 是 基于 
概率 的 ， 比 较 弱 的 个 体 它 复制 的 可 能 性 也 就 很 小 ， 但 也 不 是 直接 就 删除 。 一 些 适 应 值 小 的 个 体 的 
存活 是 很 重要 的 ， 因 为 它们 可 能 含有 解决 方案 中 的 一 些 必 不 可 少 的 因素 〈 例 如 部 分 位 模式 )， 而 
且 复 制 能 吸收 这 种 成 分 。 

有 很 多 遗传 算 子 可 产生 具有 双亲 特征 的 后 代 : 最 普通 的 是 交叉 〈crossover) 。 交 叉 算 子 选择 
两 个 候选 个 体 ， 分 解 每 一 个 个 体 ， 然 后 交换 分 量 形成 两 个 新 的 候选 个 体 。 图 12-1 显示 了 长 度 为 8 
的 交叉 算 子 。 交 叉 算 子 先 从 中 间 分 开 双 亲 个 体 ， 产 生 两 个 孩子 : 它们 的 前 半 部 分 来 自 一 个 双亲 个 
体 ， 后 半 部 分 来 自 另 外 一 个 双亲 个 体 。 注 意 ， 从 中 间 分 解 候选 个 体 是 任意 选择 的 。 分 解 可 从 表达 
起 的 任意 位 置 进行 ， 而 且 ， 这 种 分 解 位 置 还 可 在 解决 过 程 中 进行 调整 和 改变 。 

例如 ， 假 定 目标 类 是 以 1 开头 和 结尾 的 字符 串 集 合 。 图 12-1 中 的 双亲 都 能 很 好 地 完成 这 个 
任务 。 然 而 ,第 一 个 孩子 比 任何 一 个 双亲 个 体 都 要 好 : 它 不 含有 假 信息 ， 也 不 太 可 能 遗漏 一 些 正 
确 的 字符 串 。 应 注意 的 是 ， 它 的 同胞 兄弟 比 它 的 任何 输入 位 申 : 

一 个 双亲 个 体 都 要 差 ， 很 有 可 能 在 下 一 次 进化 中 被 


删除 11#0: 101# #110: #0#1 
变异 ( mutation) 是 另 一 种 很 重要 的 遗传 算 子 。 | AN | 7 

变异 算 子 选择 单个 个 体 ， 然 后 任意 改变 它 的 部 分 特 得 到 的 新 串 : 

征 。 例 如 ， 变 异 算 子 任意 从 模式 中 选择 一 位 改变 它 ， 1 1#0#0#1 #110101# 


从 1 变换 到 0 或 者 #。 因 为 在 初始 群体 中 可 能 不 含有 解 图 12-1 两 个 长 度 为 8 的 位 审 上 的 交 二 可 
决 方案 的 分 量 ， 于 是 变异 算 子 就 显得 很 重要 。 在 我 们 通配符 
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的 例子 中 ， 如 果 初始 群体 中 的 任何 个 体 的 第 一 个 分 量 都 不 是 1， 则 交叉 算 子 因为 它 保持 双亲 个 体 
的 前 半 部 分 的 分 量 不 变 ， 所 以 不 能 产生 需要 的 后 代 。 于 是 就 需要 变异 算 子 改变 这 个 位 。 其 他 的 遗 
传 算 子 〈 例 如 反 转 算 子 ) 也 可 完成 这 样 的 任务 ， 这 部 分 内 容 将 在 12. 1. 3 节 介绍 。 

遗传 算法 继续 直到 它 的 终止 条 件 得 到 满足 ， 例 如 是 有 一 个 或 多 个 候选 个 体 的 适应 信 超 过 了 
某 一 个 阔 值 。 在 下 一 节 举 例 介绍 遗传 算法 编码 、 遗 传 算 子 和 适应 度 评估 ， 并 给 出 两 个 例子 ，CNF 
约束 满足 问题 和 巡回 推销 员 问 题 。 


12. 1. 1 两 个 例子 : CNF 可 满足 性 问题 和 巡回 推销 员 问 题 


接 下 来 选择 两 个 问题 讨论 表示 问题 和 针对 问题 的 适应 函数 的 设计 。 首先 要 注意 三 个 问题 : 
第 一 ， 并 不 是 所 有 问题 都 能 很 容易 地 用 位 串 的 表达 式 ; 第 二 ， 遗传 算 子 要 保存 群体 的 一 些 重要 关 
系 ， 例 如 ,巡回 推销 员 问 题 中 每 一 个 城市 必须 都 出 现 一 次 且 仅 一 次 ; 最 后 ， 讨 论 问题 状态 的 适应 
函数 和 问题 编码 之 间 的 重要 关系 。 


例 12.2.1 CNF 可 满足 性 问题 

合 取 范式 (CNF) 的 可 满足 性 问题 是 很 直接 的 ， 当 一 个 命题 表达 式 是 用 and ( “人 ”) 连接 
的 子 名 序列 时 ， 它 就 是 一 个 合 取 范 式 。 每 一 个 子 句 是 用 or (“V”) 连接 的 文字 组 成 。 例如 ， 如 
果 有 文字 a、b、c、d、e 和 f， 则 表达 式 


(ravcA^(navcv-e)^(cbvcvdv-e)^(av-bvc) 和 (ev 


就 是 CNF。 这 个 表达 式 是 5 个 子 句 的 合 取 ， 每 一 个 子 句 是 两 个 或 更 多 文字 的 析 取 。 在 第 2 章 介绍 
了 命题 逻辑 和 可 满足 性 。 在 14. 2 节 将 介绍 命题 逻辑 表达 式 的 合 取 范式 及 其 转换 的 方法 。 

CNF 可 满足 意味 着 要 为 这 6 个 文字 找 出 true 或 false (1 或 0) 的 赋值 ， 使 得 CNF 表达 式 的 
值 为 true。 读 者 可 验证 a、b 和 e 赋值 为 false 就 可 使 表达 式 为 真 ， 另 一 种 方法 是 e 为 false，c 为 
true 。 

对 于 这 个 CNF 可 满足 性 问题 一 种 比较 自然 的 编码 是 一 个 6 位 长 的 位 串 ， 每 一 个 位 表示 一 个 
文字 的 赋值 : true (1) 或 false (0) ， 按 照 a、b、c、d、e、f 的 顺序 。 因 此 : 


10101 0 


代表 了 a、c 和 e 赋值 为 true，b、d 和 ff 赋值 为 false， 整 个 CNF 表达 式 的 值 是 false。 读 者 可 党 
试 其 他 使 表达 式 为 真 的 赋值 。 

我 们 要 求 每 个 遗传 算 子 产生 的 后 代 是 使 CNF 表达 式 为 真 的 赋值 ， 因 此 每 个 算 子 必须 产生 一 
个 6 位 长 的 真 值 赋值 模式 。 这 里 选择 用 位 模式 表示 CNF 表达 式 中 文字 的 真 假 值 的 重要 原因 是 : 
每 个 遗传 算 子 都 会 产生 一 个 合法 的 可 能 解 。 也 就 是 说 ， 交 叉 算 子 和 变异 算 子 产生 的 位 串 是 问题 
的 一 个 可 能 解 。 而 且 其 他 常用 的 遗传 算 子 产生 的 也 是 CNF 表达 式 的 合法 可 能 解 ， 例 如 反 转 (in- 
version) 算 子 (转换 6 位 模式 中 位 串 的 顺序 ) 和 交换 算 子 (交换 这 个 模式 中 不 同 的 两 个 位 ) 。 实 
际 上 ， 从 这 个 观点 看 很 难 找到 一 种 比 位 串 模式 更 适合 CNF 可 满足 性 问题 的 编码 方法 。 

为 位 串 群体 选择 适应 函数 就 不 是 那么 直观 了 。 从 一 个 角度 看 ， 对 于 文字 的 任何 一 个 真 值 都 
会 使 表达 式 要 么 为 true 要 么 为 false。 如 果 一 个 特殊 的 赋值 使 表达 式 为 tue， 则 表示 找到 了 解 ; 
否则 未 找到 。 初 看 似乎 很 难 决 定 一 个 适应 函数 ， 它 能 决定 一 个 作为 潜在 解 的 位 串 的 “质量 ”。 

然而 有 很 多 的 可 供 选 择 的 办 法 。 整 个 CNF 表达 式 是 由 5 个子 句 的 合 取 组 成 。 因 此 可 构造 一 
个 等 级 测定 系统 ， 它 考察 模式 满足 的 子 句 的 个 数 ， 人 允许 对 潜在 的 位 模式 解 在 0 ~5 的 范围 内 进行 
排序 。 例 如 : 
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110010 适应 度 为 1， 
010010 适应 度 为 2， 
010011 适应 度 为 3， 
101011 适应 度 为 5, 它 就 是 解 。 


这 个 遗传 算法 提供 了 CNF 可 满足 性 问题 的 一 种 合理 的 解决 方法 。 遗 传 算法 的 一 个 重要 特性 
是 解 群体 提供 的 隐 含 的 并 行 性 。 遗 传 算 子 对 表达 式 有 天 然 的 适应 性 。 最 后 ， 解 搜索 似乎 也 符合 一 
种 并 行 的 “分 而 治之 ”的 策略 ， 因 为 适应 度 是 由 满足 的 问题 分 量 的 个 数 决定 的 。 在 本 章 的 练习 
中 读者 要 考虑 这 个 问题 的 其 他 解决 方法 。 


例 12.2.2 巡回 推销 员 问题 
巡回 推销 员 问 题 (traveling salesperson problem，TSP) 是 人 工 智能 和 计算 机 科学 中 的 典型 问 
题 。 在 3. 1 节 中 结合 图 论 介绍 了 这 个 问题 。 它 的 整个 状态 空间 需要 的 状态 数 是 N!，N 是 要 访问 的 
城市 的 数目 。 它 被 证 明 是 NP 难题 ， 很 多 学 者 用 启发 式 方法 对 它 进 行 过 求解 。 这 个 问题 的 陈述 如 下 
一 个 推销 员 要 求 访问 N 个 城市 ， 在 任意 路 线 的 两 个 城市 之 间 有 一 个 关联 的 费用 (例如 公里 


数 、 航 空 费用 等 ) 。 找 出 一 个 费用 最 少 的 路 径 ， 从 一 个 城市 出 发 ， 经 过 所 有 其 他 的 城市 一 次 仅 且 
一 次 ， 然 后 回 到 出 发 点 。 


TSP 问题 有 很 多 很 好 的 应 用 ， 包 括 电路 板 布线 、X 射线 晶体 学 (X-ray crystallography) 以 及 
超大 规模 集成 电路 布线 等 。 在 这 些 问 题 中 需要 访问 成 千 上 万 的 点 (城市 )。 在 分 析 TSP 时 一 个 很 
有 意思 的 问题 是 ， 是 否 值得 花 几 个 小 时 在 昂贵 的 工作 站 上 得 到 一 个 接近 最 优 解 的 方案 ,或 在 廉 
价 的 PC 上 运行 几 分 钟 得 到 一 个 “充分 好 ”的 结果 。TSP 是 一 个 很 有 意思 和 难度 的 问题 ， 它 有 很 
多 的 研究 分 支 。 

我 们 怎样 用 遗传 算法 解决 这 个 问题 ? 首先 ， 表 示 访 问 城市 路 径 的 编码 的 选择 和 一 组 遗传 算 
子 的 创建 不 是 很 简单 。 但 是 ， 适 应 函数 的 设计 很 直观 : 我 们 要 做 的 是 评估 路 径 的 长 度 成 本 。 然 后 
按照 长 度 成 本 对 路 径 进行 排序 ， 成 本 越 低 的 越 好 。 

我 们 先 看 看 显而易见 的 编码 方法 。 假 如 我 们 有 9 个 城市 要 访问 ， 编 号 为 1, 2，…，9， 因 此 
用 这 9 个 数字 的 有 序 链 对 路 径 进 行 编码 。 假 如 简单 地 用 一 个 四 位 模式 〈0001，0010，…，1001 ) 
来 代表 每 一 个 城市 。 模 式 


0001 0010 0011 0100 0101 0110 0111 1000 1001 


表示 按照 它 所 在 序列 号 的 顺序 被 访问 。 为 了 方便 阅读 ， 我 们 在 字符 串 中 加 入 了 空格 。 现 在 ， 怎 么 
选择 遗传 算 子 ? 交叉 算 子 首先 被 排除 ， 因 为 从 两 个 双亲 中 产生 的 新 字符 早 极 有 可 能 不 代表 一 条 
每 个 城市 只 访问 一 次 的 路 径 。 实 际 上 ， 通 过 交叉 算 子 ， 有 些 城市 会 被 移出 而 另外 一 些 城市 会 被 重 
复 访问 。 变 异 算 子 怎么 样 ? 假如 第 6 个 城市 (0110) 的 最 左边 位 变 成 了 1? 1110 或 14， 不 再 是 
一 个 合法 的 城市 。 在 路 径 表 达 式 内 反 转 和 交换 (交换 代表 城市 的 4 位 串 ) 也 许 是 一 种 可 接受 的 
遗传 算 子 ,但 是 它们 是 否 足够 有 效能 得 到 一 个 满意 的 方案 ? 实际 上 ， 搜 索 最 少 花费 路 径 的 过 程 也 
就 是 产生 和 评估 N 个 城市 的 所 有 可 能 排列 。 遗 传 算 子 必须 能 产生 所 有 的 排列 。 

另外 一 种 方法 是 不 用 位 串 表 示 ， 而 用 一 个 字母 或 者 数字 (例如 1，2，…，9) 表示 一 个 城 
市 ; 通过 对 这 9 个 数字 排序 构造 路 径 ， 然 后 选择 合适 的 遗传 算 子 产生 路 径 。 只 要 是 任意 交换 路 径 
中 的 两 个 城市 ， 变 异 算 子 就 可 以 , 但 是 在 两 条 路 径 之 间 的 交叉 算 子 也 就 没有 用 了 。 交 换 同一 路 径 
中 的 两 个 片断 ， 或 者 是 任何 其 他 只 是 改变 路 径 中 字母 的 顺序 (没有 移 走 、 添 加 和 重复 ) 的 算 子 
都 是 可 行 的 。 然 而 ， 这 些 方法 都 很 难 将 两 个 双亲 个 体 中 优秀 的 成 分 组 合 到 后 代 中 去 。 

很 多 研究 者 ( Davis 1985 ，Oliver et al. 1987) 设计 了 能 克服 这 些 问 题 的 交叉 算 子 。 例 如 ，Da- 
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vis 定义 了 一 种 叫做 有 序 交 又 (order crossover) 的 算 子 。 假 定 我 们 有 9 个 城市 1，2，…，9， 这 
数字 的 顺序 代表 城市 访问 的 顺序 。 

有 序 交 叉 通 过 在 一 个 双亲 的 路 径 中 选择 城市 子 序列 创建 后 代 。 它 依然 保持 从 另外 一 个 双亲 
中 来 的 城市 的 相对 顺序 。 首 先 ， 选 择 两 个 划分 点 ， 用 “1 ”标志 ， 划 分 点 任意 插入 到 双亲 路 径 
中 的 相同 位 置 。 划 分 点 的 位 置 是 任意 的 ， 但 是 一 旦 选择 了 ， 双 亲 中 的 另外 一 个 就 必须 选择 相同 的 
位 置 。 例 如 ， 对 于 双亲 路 径 pt 和 p2 ， 划 分 点 在 第 3 个 和 第 7 个 位 置 (城市 ): 

p1=(19214657183) 

p2=(459 | 1876 | 23) 


两 个 孩子 c1 和 c2 按 下 面 的 方法 产生 。 首 先 ， 将 双亲 中 划分 点 之 间 的 部 分 复制 到 后 代 中 : 
cl=(xxx 14657 1 xx) 
c2=(xxx| 1876 | xx) 
然后 ， 从 一 个 双亲 路 径 的 第 二 个 划分 点 开始 ， 从 另外 一 个 双亲 路 径 中 来 的 城市 按 相 同 的 顺 
序 复 制 。 当 到 达 字符 串 的 结尾 时 ， 再 从 字符 串 的 开始 继续 。 于 是 ， 从 p2 中 得 到 的 城市 序列 是 : 
234591876 
因为 4，6, 5 和 7 已 经 是 第 一 个 孩子 的 一 部 分 ， 于 是 它们 被 移 走 ， 得 到 缩短 序列 2，3，9，1 和 
8， 它 们 构成 了 c1 中 剩余 的 访问 城市 序列 ， 且 保留 了 在 p2 中 的 顺序 : 
ci=(23914657118) 
用 相同 的 办 法 产生 第 二 个 孩子 c2 : 
c2=(39211876 | 45) 
在 有 序 交 叉 中 ， 双 亲 路 径 p1 的 中 间 片 段 遗 传 给 了 cf ， 同 时 ct 的 其 余 城 市 的 顺序 从 另外 一 
个 双亲 路 径 p2 中 继承 得 到 。 这 个 方法 支持 直观 知识 ， 城 市 的 顺序 在 生成 最 少 花费 路 径 时 非常 重 
要 ， 于 是 双亲 路 径 中 的 顺序 信息 片段 传递 到 孩子 路 径 中 去 是 很 关键 的 。 
有 序 交 叉 算 法 还 保证 了 孩子 路 径 是 合法 路 径 ， 每 个 城市 访问 一 次 且 仅 一 次 。 如 果 想 在 这 个 
结果 中 加 入 变异 算 子 ， 我 们 首先 提醒 你 要 注意 在 同一 路 径 中 交换 城市 。 反 转 算 子 〈 如 果 只 是 简 


单 地 改变 整个 路 径 的 方向 ) 是 没有 效 的 ， 当 改变 整个 路 径 方向 时 ， 它 没有 产生 新 的 路 径 。 然 而 ， 
如 果 路 径 的 一 个 片段 被 截 出 来 ， 改 变 方 向 ， 然 后 重新 代入 ， 这 种 反 转 算 子 是 可 接受 的 。 例 如 : 


c1=(239146571 18) 
在 反 转 中 间 的 片断 后 有 : 
cl1=(239175641 18) 


可 以 这 样 定义 一 种 新 的 变异 算 子 : 任意 选择 一 个 城市 ， 然 后 任意 选择 路 径 中 一 个 新 的 位 置 
插入 。 这 种 变异 算 子 也 可 用 于 路 径 的 一 个 片段 ,例如 ， 可 选择 一 个 3 个 城市 的 子 序列 ， 插 和 人 人 路径 
中 的 一 个 新 位 置 ， 保 持 子 序列 的 顺序 不 变 。 其 他 建议 将 在 习题 中 给 出 。 


12. 1.2 遗传 算法 的 评估 


上 面 的 例子 重点 介绍 了 遗传 算法 的 知识 表示 的 惟一 性 问题 、 遗 传 算 子 的 选择 和 送 应 函数 的 
设计 。 表 示 方 法 的 选择 必须 支持 遗传 算 子 。 有 时 ， 比 如 在 CNF 可 满足 性 问题 中 ， 位 串 表 示 是 最 
自然 的 方法 。 在 这 种 情形 中 ， 传 统 的 遗传 算 子 (如 交叉 和 变异 ) 能 直接 用 于 产生 潜在 的 解 。 巡 


绒 


358 徊 四 部 分 般 吉 学 忆 








加 推销 员 问 题 是 完全 不 同 的 情况 。 第 一 ， 位 串 编码 对 它 显得 很 不 方便 。 第 二 ， 要 设计 新 的 变异 和 
交 又 算 子 能 保证 后 代 必须 是 合法 的 路 径 ， 也 就 是 必须 通过 每 一 个 城市 一 次 目 仅 一 次 。 

最 后 ， 遗 传 算 子 必须 传递 给 后 代 信息 丰富 的 潜在 解 的 片断 。 如 在 CNF 可 满足 性 问题 中 ， 这 种 
信息 是 真 值 赋值 ， 遗 传 算 子 必须 在 后 一 代 中 保持 它 。 在 TSP 问题 中 ， 路 径 的 组 织 是 关键 ， 因 此 路 径 
信息 的 分 量 必须 传递 到 后 代 中 。 这 种 信息 成 功 转 移 不 仅 依靠 表示 的 选择 ， 也 依靠 遗传 算 子 的 设计 。 

我 们 留 下 了 表示 的 最 后 一 个 问题 ， 也 就 是 选择 表示 的 自然 性 问题 。 我 们 考虑 一 个 简单 的 例 
了 ,假如 我 们 要 遗传 算 子 能 区 别 数字 6、7、8 和 9。 整 数 表示 给 出 了 -一 个 很 自然 且 平 均 的 有 序 空 
间 ， 因 为 在 十 进 制 的 数 中 ， 下 一 个 数 只 是 在 前 一 数 上 加 1。 然 而 ， 改 为 用 二 进 制 编码 的 话 ， 这 种 
自然 的 属性 就 会 消失 。 考 虑 6、7、8 和 9 的 位 模式 : 

0110 0111 1000 1001 
我 们 观察 一 下 ， 在 6 和 7 之 间 还 有 8 和 9 之 间 只 有 一 位 发 生 改 变 ， 但 在 7 和 8 之 间 四 位 全 部 不 相 
同 了 。 这 种 表现 的 不 规则 在 试图 产生 一 个 需要 全 部 组 织 这 些 4 位 模式 的 解决 方案 时 ， 会 愈加 明 
显 。 有 很 多 技术 用 于 解决 这 种 不 统一 表现 问题 ， 大 都 在 葛 菜 编码 (gray coding) 的 基础 上 进行 。 
例如 。 在 表 12-1 显示 了 前 16 个 二 进 制 数 的 葛 药 编码 版 本 。 在 相 邻 两 个 数 之 间 恰好 只 相差 一 位 ， 
用 锡 莱 编码 代替 标准 的 二 进 制 数 ， 这 样 会 使 相 邻 状态 间 的 遗传 算 子 的 转换 变 得 自然 和 平滑 。 


表 12-1 对 于 二 进 制 数 0，1，…，15 进行 葛 革 编码 的 位 模式 














遗传 算法 的 一 个 重要 特性 是 它 搜索 的 并 行 性 。 遗 传 算法 实现 了 一 种 强大 的 扑 山 法 : 它 保持 
多 个 候选 解 ， 删 除 没有 希望 的 ， 提 高 好 的 解决 方案 。 图 12-2 从 Holland (1986) 改编 ， 它 表明 了 
多 个 候选 解 在 搜索 空间 中 彰 最 优点 收敛 。 在 这 个 图 中 ， 水 平 轴 代 表 在 解 空间 中 的 可 能 点 ， 而 垂直 
轴 反 应 这 些 解 的 质量 。 曲 线 上 的 点 是 遗传 算法 中 当前 群体 中 的 候选 解 的 成 员 。 开 始 时 ， 候 选 解 分 
散在 可 能 解 空间 中 。 经 过 几 代 的 进化 后 ， 它 们 趋向 于 聚集 在 解 质量 较 高 的 区 域 。 


解 的 质量 解 的 质量 


”搜索 空间 搜索 空间 
a) 开 始 时 的 搜索 空间 b)n 代 之 后 的 搜索 空间 
图 12-2 用 并 行 候 山 法 显示 遗传 算法 
[改编 自 Holland (1986)] 


第 12 苹 胡可 学 习 : 迹 佬 性 和 涌现 糙 359 











当 我 们 把 遗传 搜索 说 成 是 “把 山 法 ”时 ， 上 默认 了 通过 适应 度 曲 线 图 决定 移动 方向 的 方法 。 
这 曲线 有 波峰 和 波 谷 ， 也 就 是 局 部 最 大 值 和 最 小 值 。 实 际 上 ， 在 空间 中 的 某 些 不 连续 是 在 表示 和 
遗传 算 子 的 选择 时 人 为 造成 的 。 例 如 ， 就 如 刚才 讨论 的 那样 ， 这 种 不 连续 性 可 能 因为 没有 用 万 莱 
编码 而 引起 。 应 注意 的 是 遗传 算法 不 像 在 4. 1 节 介 绍 的 串 行 仆 山 法 ， 它 不 会 立即 删除 没有 希望 的 
候选 解 。 通 过 遗传 算 子 ， 即 使 是 较 弱 的 候选 解 也 能 继续 对 形成 更 好 的 候选 解 做 出 贡献 。 

遗传 算法 和 第 4 章 介 绍 的 状态 空间 的 启发 式 搜索 的 另 一 个 区 别 是 对 当前 状态 和 目标 状态 的 区 
别 分 析 。 支 持 A * 算法 的 信息 内 容 需 要 能 评估 从 当前 状态 移 到 目标 状态 的 代价 ( 详 见 4.2 节 )。 
而 遗传 算法 并 没有 那样 的 要 求 ， 它 只 要 对 每 一 个 当前 潜在 解 的 适应 值 进行 评估 。 它 也 不 需要 严 
格 地 在 open 列表 中 对 下 一 个 状态 进行 排序 ， 就 如 在 状态 空间 搜索 中 看 到 的 那样 。 遗 传 算 法 只 有 
针对 问题 的 适宜 解 群体 ， 每 一 个 个 体 都 可 能 在 并 行 搜索 中 对 产生 新 的 可 能 解 有 所 帮助 。 

遗传 算法 力量 的 一 个 重要 源泉 是 天 生存 在 于 进化 算 子 中 的 隐 含 的 并 行 性 (implicit parallel- 
ism) 。 与 状态 空间 搜索 和 有 序 open 列表 相 比 ， 搜 索 并 行 移动 ， 对 整个 候选 解 群体 进行 操作 。 通 
过 限制 复制 比较 弱 的 候选 个 体 ， 遗 传 算法 不 仅 删除 了 该 候选 解 ， 而 且 删 除 它 的 所 有 后 代 。 例 如 ， 
字符 串 101 如 幸 1 ， 如 果 从 它 的 中 间 点 断 开 ， 能 形成 一 个 形 如 101# 的 群体 。 如 果 发 现 这 
个 字符 串 不 适合 ， 则 删除 它 的 同时 将 删除 整个 潜在 的 子孙 群体 。 

随 着 遗传 算法 在 应 用 领域 和 科学 建 模 等 方面 的 广泛 应 用 ， 它 吸引 人 们 去 探索 它 的 理论 基础 。 
以 下 几 个 问题 自然 而 然 被 提出 : 

1) 我 们 能 否 刻 画 具 有 什么 类 型 特征 的 问题 用 遗传 算法 能 较 好 地 解决 ? 

2) 什么 类 型 的 问题 用 遗传 算法 执行 较 差 ? 

3) 对 一 类 问题 用 遗传 算法 执行 效果 好 或 者 坏 意味 着 什么 ? 

4) 有 没有 其 他 的 规则 可 描述 遗传 算法 行为 的 宏观 意思 ?尤其 是 是 否 可 做 出 预测 ， 群体 的 子 
集合 的 适应 性 将 怎样 随时 间 而 变化 ? 

5) 是 否 有 方法 可 描述 不 同 遗传 算 子 (例如 交叉 、 变 异 、 反 转 等 ) 的 不 同 影响 ? 

6) 在 什么 样 的 环境 下 (什么 样 的 问题 和 什么 样 的 遗传 算 子 ) 遗传 算法 比 传统 的 人 工 智能 搜 
索 方法 更 具有 优势 ? 

这 上 面 的 很 多 议题 超出 了 本 书 的 范围 。 实 际 上 如 Mitchell (1996) 指出 的 : 在 遗传 算法 的 基 
础 方面 的 有 待 研究 的 问题 远 多 于 它 被 接受 的 答案 。 虽 然 如 此 ， 在 遗传 算法 一 开始 提出 很 多 研究 
人 员 (包括 Holland 1975) 就 试图 去 了 解 它 的 运行 机 制 。 尽管 他 们 是 从 宏观 角度 提出 的 这 些 问 
题 ， 就 像 上 面 提出 的 六 个 问题 ， 但 是 他 们 的 分 析 都 是 从 微观 和 位 编码 层次 进行 的 。 

Holland (1975) 引入 了 表示 模式 (schema) 的 概念 ， 把 它 当 作 一 种 通用 模式 和 解 的 “构造 
块 ” 。 表 示 模 式 是 一 个 位 串 的 模式 ， 这 个 模式 用 由 1，0 和 # (不 关心 ) 组 成 的 模板 描述 。 例 如 ， 
表示 模式 10#01 表示 一 个 6 位 的 字符 串 集 合 ， 它 以 10 开头， 以 01 结尾 。 因为 中 间 的 模式 幸 代 
表 4 个 位 模式 00、01、10 和 11 ， 整 个 表示 模式 就 表示 4 个 6 位 长 的 0、! 串 。 按 传统 说 法 ， 人 们 
常 说 一 个 表示 模式 描述 了 一 个 超 平面 (Goldberg 1989 ) ; 在 这 个 例子 中 ， 这 个 超 平面 截 出 了 所 有 
可 能 的 6 位 长 的 编码 集合 。 传 统 遗 传 算法 理论 的 核心 原则 是 ， 表示 模式 是 解 集合 的 构造 块 。 遗 传 
算 子 (交叉 和 变异 ) 操纵 着 这 些 表示 模式 朝 潜 在 解 转换 ， 这 个 操纵 的 特殊 描述 称 为 表示 模式 理 
论 (schema theorem) (Holland 1975 ，Goldberg 1989 )。 按照 Holland 的 说 法 ， 自 适应 系统 必须 识 
别 、 测 试 和 合并 结构 性 质 ， 假 定 这 样 是 为 了 在 一 定 的 环境 中 产生 更 好 的 效果 。 表示 模式 就 被 认为 
是 这 些 结构 性 质 的 形式 化 。 

Holland 的 表示 模式 分 析 理 论 认为 适应 性 选择 算法 应 逐步 将 搜索 的 焦点 定 在 估计 具有 最 佳 适 
应 性 的 搜索 空间 的 子 集 上 。 也 就 是 说 ， 子 集 由 具有 较 好 适应 性 的 表示 模式 来 描述 。 交 叉 算 子 把 两 
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个 具有 高 适应 值 的 构造 块 放 在 同一 个 字符 串 中 ， 试 图 产生 一 个 具有 更 高 适应 值 的 新 捉 。 变 异 算 
子 保证 了 从 整个 搜索 过 程 中 几乎 不 会 消除 个 体 的 〈 遗 传 ) 多 样 性 ， 也 就 是 说 ， 我 们 将 继续 探究 
适应 性 范围 内 的 新 内 容 。 因 此 遗传 算法 可 被 看 成 是 一 种 拉力 ,在 打开 一 个 通用 搜索 过 程 和 捕获 
并 保留 该 搜索 空间 中 的 重要 〈 遗 传 ) 特征 之 间 维 系 着 紧密 的 联系 。 尽 管 Holland 对 遗传 算法 搜索 
的 初始 分 析 集中 在 位 层次 水 平 ， 但 他 最 近 更 多 的 工作 扩展 到 了 分 析 多 种 表示 模式 上 ( Goldberg 
1989) 。 在 下 一 节 将 把 遗传 算法 技术 应 用 于 更 复杂 的 表示 。 


12.2 分 类 器 系统 和 遗传 程序 设计 


遗传 算法 的 早期 工作 大 都 集中 在 低层 次 编码 方法 上 ， 诸 如 字符 串 {0, 1, 认 。 除 了 支持 遗传 算 
子 的 直观 例 示 ,位 串 和 类 似 的 编码 方法 给 遗传 算法 带 来 了 其 他 子 符号 方法 (如 连接 网 络 ) 的 能 
力 。 然 而 ,对 于 像 巡 回 推销 员 之 类 的 问题 ， 在 复杂 一 些 的 层次 上 有 更 自然 的 编码 方法 。 更 进 一 
步 ， 我 们 会 问 是 否 有 更 加 丰富 的 表示 法 ， 诸 如 “如 果 …… 那 么 ……” 规 则 和 计算 机 程序 代码 。 
这 种 编码 方法 的 一 个 重要 的 特性 是 它们 能 通过 规则 链 和 函数 调用 组 合 不 同 的 、 高 层次 的 知识 以 
迎合 特定 问题 实例 的 需求 。 

不 幸 的 是 ， 我 们 很 难 定义 一 种 这 样 的 遗传 算 子 ， 它 能 抓 住 逻 辑 关 系 中 的 语法 和 语义 结构 ， 而 
又 能 有 效 地 应 用 交叉 和 变异 这 样 的 算 子 。 一 种 可 能 的 结合 规则 推理 能 力 和 遗传 学 习 的 方法 是 把 
逻辑 句子 转换 为 位 串 ， 然 后 使 用 标准 的 交叉 和 变异 算 子 。 但 是 ， 在 这 种 转换 下 ， 交 叉 和 变异 算 子 
产生 的 位 串 不 能 对 应 到 丰富 的 勾 辑 语句 中 。 作 为 一 种 代替 位 串 的 编码 方法 ， 我 们 可 以 定义 各 种 
交叉 算 子 的 变形 ， 它 们 能 直接 应 用 到 高 层 的 编码 中 ， 例 如“ 如果 …… 那 么 ……” 规则 和 高 级 程 
序 设计 语言 代码 。 这 一 节 讨论 扩展 遗传 算法 能 力 的 每 种 方法 的 例子 。 


12. 2. 1 分 类 器 系统 


Holland (1986) 提出 了 一 个 叫做 分 类 器 系统 (classifier system) 的 问题 求解 体系 结构 ， 它 在 
产生 式 系 统 中 对 规则 应 用 遗传 学 习 。 分 类 器 系统 〈 见 图 12-3) 含有 产生 式 系 统 中 常见 的 元 素 : 
产生 式 规则 (这 里 叫做 分 类 器 ) 、 工 作 内 存 、 输 入 传感器 (或 说 解码 器 ) 和 输出 设备 〈 或 说 受 动 
器 ) 。 分 类 器 系统 中 的 不 常见 特征 包括 在 有 冲突 决策 时 的 竞争 选择 ， 遗 传 算法 用 于 学 习 ， 在 学 习 
时 对 规则 进行 奖赏 和 惩罚 时 使 用 桶 链 算法 (bucket brigade algorithm)， 从 外 部 环境 的 反馈 提供 一 
种 评估 候选 分 类 器 的 方法 。 图 12-3 中 的 分 类 器 系统 有 以 下 一 些 主要 部 分 : 

1) 从 环境 中 得 到 输入 信息 的 解码 器 。 

2) 从 环境 中 得 到 反馈 信息 的 解码 器 。 

3) 把 应 用 规则 结果 转变 到 环境 中 去 的 受 动 器 。 

4) 产生 式 规 则 集合 构成 了 分 类 器 群体 。 每 一 个 分 类 器 都 有 关联 的 适应 度 。 

5) 分 类 器 规则 的 工作 内 存 。 它 集成 了 输入 信息 激活 的 产生 式 规则 的 结果 。 

6) 用 于 产生 式 规 则 修正 的 遗传 算 子 集合 。 

7) 对 产生 成 功 结果 的 规则 进行 奖赏 的 系统 。 

在 问题 求解 系统 中 ， 分 类 器 系统 的 执行 跟 传 统 的 产生 式 系 统一 样 。 从 环境 中 发 送 一 个 信息 
到 分 类 器 系统 中 ， 例 如 一 个 游戏 中 的 移动 。 这 个 事件 先进 行 解 码 ， 当 作 一 个 模式 放 到 内 部 信息 列 
表 中 ， 也 就 是 产生 式 系统 中 的 工作 内 存 。 在 通常 的 数据 驱动 的 产生 式 系统 中 ， 这 些 信息 匹配 分 类 
器 规则 模式 的 条 件 。 通 过 投标 方法 选择 “最 强 的 被 激活 分 类 器 ”， 这 个 投标 是 分 类 叭 累计 适应 值 
和 输入 刺激 与 模式 条 件 的 匹配 质量 的 函数 。 这 个 最 匹配 的 分 类 器 添加 信息 〈 激 发 规则 的 动作 ) 
到 工作 内 存 中 。 这 个 修订 的 信息 列表 发 送信 息 到 受 动 器 中 ， 这 个 受 动 器 作用 于 外 部 环境 ， 当 产生 
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图 12-3 “与 外 部 环境 交互 的 分 类 器 系统 
[改编 自 Holland (1986) ] 


式 系 统 继续 运行 时 激活 新 的 分 类 器 规则 。 

分 类 器 系统 实现 了 一 种 强化 学 习 (10.7 节 ) 。 基 于 教师 的 反馈 或 评估 函数 的 适应 值 ， 学 习 器 
计算 候选 规则 群体 的 适应 值 ， 用 遗传 学 习 的 变种 调整 候选 群体 。 分 类 器 系统 通过 两 种 方法 学 习 。 
第 一 ， 奖 赏 系统 调整 分 类 器 规则 的 适应 度 ， 成 功 者 给 予 奖 赏 ， 错 误 者 给 予 惩罚 。 信 任 分 配 算 法 传 
递 部 分 奖赏 或 惩罚 回 分 类 器 规则 ， 这 些 规则 对 形成 最 终 的 规则 激发 会 有 贡献 。 在 相互 作用 的 分 
类 器 间 的 不 同 奖赏 的 分 配 经 常 是 由 桶 链 算 法 实现 。 当 在 系统 的 输出 是 一 系列 规则 激发 的 结果 这 
样 的 环境 时 ， 桶 链 算 法 解决 信任 和 惩罚 的 分 配 问题 。 在 一 个 错误 事件 中 ,我们 怎么 知道 哪 条 规则 
需要 惩罚 ? 它 是 最 后 被 激活 的 那 条 规则 的 责任 ， 还 是 因为 前 面 的 规则 提供 了 错误 的 信息 ?根据 每 
条 规则 对 最 终结 论 贡 献 的 大 小 ， 桶 链 算法 为 一 系列 规则 应 用 分 配 信任 和 惩罚 值 。 在 11. 3 节 的 反 
向 传播 算法 中 提 到 过 一 种 相似 的 错误 惩罚 机 制 ， 更 多 细节 可 参见 Holland (1986 ) 。 

第 二 ， 用 遗传 算 子 〈 交 叉 和 变异 ) 改变 规则 本 身 。 这 让 成 功 的 规则 得 以 保存 ， 且 可 组 合成 
新 的 分 类 器 规则 ， 同 时 不 成 功 的 规则 会 消失 。 

每 一 个 分 类 器 规则 包括 三 个 部 分 : 典型 的 产生 式 系统 中 ， 规 则 条 件 匹 配 工作 内 容 中 的 数据 。 
在 学 习 中 ， 遗 传 算 子 能 改变 产生 式 规则 的 条 件 和 动作 部 分 。 第 二 个 部 分 是 规则 的 动作 部 分 ， 它 能 
改变 列表 中 的 内 部 信息 。 最 后 ， 每 一 个 规则 都 有 一 个 适应 度 ， 这 个 值 会 因为 成 功 的 动作 和 不 成 功 
的 动作 而 发 生 改 变 。 在 由 遗传 算 子 生成 规则 时 会 赋予 一 个 适应 度 。 例 如 ， 它 可 能 取 值 为 两 个 双亲 
的 适应 值 的 平均 值 。 

下 面 用 一 个 简单 的 例子 阐述 分 类 器 规则 中 这 些 部 分 之 间 的 相互 影响 。 假 定 被 分 类 的 目标 集 
合 有 6 个 特征 (条 件 c1，c2，…，c6) ， 进 一 步 假 设 每 一 个 特征 有 5 个 不 同 的 值 。 尽 管 每 个 特征 
的 可 能 取 值 是 不 相同 的 (例如 可 能 c3 代表 颜色 ，c5 代表 天 气 ) ,但 为 了 不 失 一 般 性 ， 我 们 给 每 
个 特征 的 赋值 为 “1,2,…,51。 假 设 这 些 规 则 的 条 件 将 它们 的 匹配 对 象 放 入 以 下 4 个 类 之 一 : 
A1、A2 、A3 、A4。 

基于 这 些 限 制 ， 每 个 分 类 器 将 有 以 下 形式 : 


(c1 c2 c3 c4 c5 c6) 一 Ai, 其 中 1=1,2,3,4 
其 中 条 件 模式 中 的 ci 表示 第 1 个 条 件 的 特征 值 11,2,…,5}。 通 常 ， 条 件 特征 值 也 可 赋值 为 # 
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(不 关心 ) ， 表 示 可 为 任意 值 。Ai 表示 分 类 A1、A2、A3 和 A4。 表 12-2 表示 一 个 分 类 器 集合 。 注 
意 ,不 同 的 条 件 模式 可 能 有 相同 的 分 类 ， 如 规则 1 和 2; 或 者 相同 的 条 件 模式 可 对 应 到 不 同 的 分 
类 ， 如 规则 3 和 5。 


表 12-2 用 于 学 习 的 条 件 一 动作 分 类 器 集合 





条 件 (特征 ) 动作 (分类) 规则 号 
(1##1#) > Al 1 
(24H8 守 ) 一 Al1 2 
(和 43 音 ) 一 A2 3 
(THHH) 一 A2 4 
( 寿 43 柑 ) 一 A3 5 


等 等 
CC 


像 上 面 描述 的 ， 分 类 器 系统 是 通用 产生 式 系统 的 另 一 种 形式 。 在 这 个 例子 中 ， 分 类 器 规则 的 
真正 有 新 意 的 地 方 是 用 数字 捉 和 # 表 示 条 件 模式 。 就 是 这 个 条 件 编码 方式 限制 了 遗传 算法 对 规则 
的 应 用 。 剩 下 的 讨论 描述 分 类 器 系统 中 的 遗传 学 习 。 

为 了 简单 起 见 ， 我 们 仅 考虑 在 学 习 分 类 A1 过 程 中 分 类 器 系统 的 性 能 。 也 就 是 说 ， 我 们 忽略 
其 他 的 分 类 ， 给 条 件 模 式 赋值 0 或 1 取决 于 它 是 否 支持 分 类 A1。 注 意 : 这 种 简化 没有 损失 其 一 
般 性 ; 很 容易 扩展 到 学 习 多 个 分 类 的 系统 中 ， 我 们 只 要 用 一 个 向 量 表示 特定 条 件 模 式 匹配 的 分 
类 。 例 如 ， 表 12-2 中 的 分 类 器 可 总 结 如 下 : 

(1####1 -> (1000) 

(2##3# 扫 一 (10 00) 


(1#### 极 一 (0100) 
(##43##) 一 (0 110) 


在 这 个 例子 中 ， 最 后 一 个 分 类 摘要 表明 条 件 特征 支持 分 类 规则 A2 和 A3， 而 不 支持 A1 或 
A4。 通 过 在 这 些 向 量 中 代 换 0 或 1， 学 习 算 法 评估 这 个 规则 的 适应 性 。 

在 这 个 例子 中 ,我 们 要 用 表 12-2 中 的 规则 显示 正确 的 分 类 ， 本 质 上 ， 它 们 在 学 习 系 统 中 发 
挥 着 规则 适应 性 的 教师 或 评估 者 的 作用 。 跟 大 多 数 遗 传 学习 器 一 样 ， 我 们 从 任意 规则 群体 开始 。 
每 一 个 条 件 模式 赋予 了 一 个 强度 或 适应 值 参数 ， 取 值 范围 为 实数 0.0 (无 强度 ) 到 1.0 ( 满 强 
度 ) 。 这 个 强度 参数 值 s 从 每 个 规则 的 双亲 的 适应 值 中 计算 得 出 。 

在 每 个 学 习 周 期 中 ， 规 则 试图 对 输入 进行 分 类 ， 然 后 由 教师 或 适应 度量 对 规则 进行 排序 。 例 
如 ， 在 某 一 个 学 习 周 期 中 ， 分 类 器 有 以 下 的 候选 分 类 规则 群体 ， 结 论 为 1 代表 这 个 模式 导致 正确 
的 分 类 ， 而 0 则 表示 没有 : 


(###2 1 本 1 s=0.6 
(##3##5)— 0 s=0.5 
(2 1####) 一 1 s=0.4 
(#4###2) ->0 s= 0.23 


假定 从 环境 中 输入 一 个 新 的 信息 (1 43 2 1 5) ,教师 (用 表 12-2 中 第 一 条 规则 ) 把 这 个 输 
和 人 向 量 当 作 规则 A1 的 正 例 。 让 我 们 看 看 当 工 作 内 存 接受 这 个 模式 和 四 个 候选 分 类 器 规则 试图 匹 
配 它 时 发 生 了 什么 。 规 则 1 和 2 匹配 。 冲 突 消解 通过 匹配 规则 间 的 竞争 性 投标 实现 。 在 我 们 的 例 
子 中 ， 投 标 是 匹配 属性 值 的 总 和 与 规则 强度 值 的 乘积 的 函数 。 通 配 符 匹 配 的 值 为 0.5， 而 确切 匹 
配 的 值 为 1.0。 为 了 规 一 化 ， 我 们 用 结果 除 以 这 个 输入 向 量 的 长 度 。 因 为 输入 向 量 与 第 一 个 分 类 
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器 规则 是 两 个 确切 匹配 ， 四 个 通配符 匹配 ， 它 的 标 值 是 ( (4 x0.5+2x1) x0.6) /6， 即 是 
0.4。 第 二 个 分 类 器 规则 也 是 两 个 确切 匹配 ， 四 个 通配符 匹配 ， 它 的 标 值 是 0.33。 在 我 们 的 例子 
中 ， 只 有 具有 最 高 标 值 的 分 类 器 规则 能 激发 。 但 在 复杂 的 系统 中 ， 需 要 一 定 比例 的 规则 被 接受 。 

第 一 条 规则 获胜 ， 于 是 得 到 结果 1， 表 明 这 个 模式 是 A1 的 实例 。 因 为 这 个 结果 是 正确 的 ， 
规则 1 的 适应 度 将 在 现在 值 和 1.0 之 间 有 一 个 增 量 。 如 果 这 个 规则 的 结果 不 正确 ， 它 的 适应 度 将 
会 减少 。 如 果 系 统 规 则 集合 的 多 个 规则 得 到 激发 ， 能 在 环境 中 产生 一 定 的 结果 ， 那 么 所 有 对 应 这 
个 结果 的 规则 都 将 得 到 一 定 程 度 的 奖赏 。 计 算 规 则 的 适应 值 的 具体 过 程 随 系统 的 不 同 而 有 所 不 
同 ， 有 可 能 很 复杂 ， 会 用 到 桶 链 算 法 或 类 似 的 信任 分 配 技术 。 详 见 Holland (1986) 。 

一 县 候选 规则 的 适应 值 计算 出 来 了 ， 学 习 算法 就 可 应 用 遗传 算 子 产生 下 一 代 规 则 。 首 先 ， 选 
择 算 法 将 决定 规则 集合 中 最 适合 的 成 员 。 这 一 节 是 基于 适应 度 测定 的 ， 但 也 可 能 包括 额外 的 随 
机 值 。 这 个 随机 值 给 适应 度 差 的 规则 复制 的 机 会 ， 避 免 过 早 删除 这 样 的 规则 ， 它 们 可 能 含有 结合 
成 期 望 解 的 成 分 。 假 定 例子 中 的 前 面 两 条 规则 被 选择 用 来 存活 和 复制 。 任 意 选择 交叉 位置 为 第 4 
和 第 5 个 元 素 之 间 : 

傣 ##211 衣 一 1 s=0.6 

(天 #3#|#5)—>0 s=0.5 


产生 后 代 : 


休 ##3#| 1 机 一 0 s=0.53 
估 ##2 |#5) 1 s=0.57 


孩子 的 适应 度 是 双亲 适应 度 的 带 权 函数 。 权 重 值 由 交叉 点 的 位 置 决 定 。 第 一 个 孩子 有 1/3 的 
适应 度 是 0. 6 的 分 类 器 规则 ,，2/3 是 0.5 的 分 类 器 规则 。 因 此 第 一 个 孩子 的 适应 度 是 (1/3 x0.6) + 
(2/3 x0.5) =0.53。 用 相同 的 办 法 ,第 二 个 孩子 的 适应 度 是 0.57。 生 成 的 分 类 器 规则 的 结果 
(通常 是 0 或 1) 与 主要 属性 的 规则 结果 保持 相同 。 在 典型 的 分 类 器 系统 中 ， 这 两 个 新 规则 ， 还 
有 它们 的 双亲 将 构成 分 类 器 规则 的 子 集 ， 它 们 在 系统 的 下 一 步 中 将 会 被 执行 。 

我 们 也 可 以 定义 变异 算 子 。 简 单 的 变异 规则 是 任意 改变 属性 模式 到 其 他 的 合法 属性 模式 ; 
例如 ，5 可 能 变异 成 1、2、3、4 或 #， 如 我 们 在 遗传 算法 中 讨论 的 一 样 ， 交 叉 算 子 试图 保持 成 功 
的 双亲 模式 中 的 片段 ， 然 后 重建 新 的 孩子 ; 而 变异 算 子 是 保持 分 类 器 搜索 空间 的 多 样 性 。 

我 们 的 例子 是 简单 的 ， 主 要 是 介绍 分 类 器 系统 的 主要 组 成 部 分 。 在 实际 的 系统 中 ， 通 常 有 多 
条 规则 激发 ， 每 一 条 规则 的 结果 都 会 传 到 工作 内 存 中 。 为 了 防止 某 条 规则 在 求解 过 程 中 变 得 太 
突出 ， 在 每 次 它 赢 得 投标 时 都 会 有 一 个 课 税 程序 减少 它 的 适应 值 。 我 们 也 没有 介绍 桶 链 算 法 ， 它 
对 支持 正确 输出 信息 到 环境 的 规则 进行 不 同 程度 的 奖赏 。 遗 传 算 子 并 不 是 在 系统 的 每 一 次 运行 
中 都 会 用 在 规则 上 ， 规 则 的 评估 、 遗 传 算 子 的 应 用 通常 由 一 些 一 般 的 参数 决定 ， 这 些 参数 可 能 是 
由 环境 中 得 到 的 反馈 的 分 析 结 果 。 

最 后 ， 我 们 的 例子 摘自 Holland (1986) 在 密 软 根 大 学 提出 的 分 类 器 系统 。 密 吹 根 方法 被 视 
为 是 认 知 的 一 个 计算 模型 ， 在 其 中 ， 认 知 实体 的 知识 〈 分 类 器 ) 被 暴露 于 一 个 反应 环境 中 ， 并 
最 终 经 历 了 随时 间 的 修改 。 我 们 评价 整个 系统 在 很 长 一 段 时 间 内 都 是 成 功 的 ， 而 同时 单个 分 类 
器 的 重要 性 相对 而 言 是 最 小 的 。 替 代 的 分 类 器 系统 也 经 过 了 审查 ， 其 中 包括 科学 家 们 在 匹兹堡 
大 学 的 工作 (Michalski et al. 1983 ) 。 匹 兹 堡 分 类 器 的 关注 点 集中 于 产生 新 一 代 分 类 器 的 过 程 中 
个 体 规则 发 挥 的 作用 。 这 种 方法 实现 了 由 Michalski 提出 的 归纳 学 习 的 一 个 模型 。 

在 下 一 节 我 们 讨论 遗传 算法 另外 一 个 特别 有 意思 的 应 用 一 一 计算 机 程序 演化 。 
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12. 2.2 用 遗传 算 子 进 行程 序 设 计 


尽管 在 上 面 几 节 中 遗传 算法 应 用 到 了 更 大 的 表示 结构 上 。 从 最 开始 的 在 位 串 上 的 转换 进展 
到 了 在 “如 果 …… 和 那么 .……: ”规则 上 的 操作 。 很 自然 有 人 会 问 遗 传 算法 技术 是 否 可 以 应 用 在 那 
些 更 大 规模 的 计算 工具 产生 的 结果 上 。 这 里 有 两 个 主要 的 例子 ， 计 算 机 程序 生成 和 有 限 状 态 自 
动机 系统 的 演化 。 

Koza 〈1991，1992，2005) 认为 成 功 的 计算 机 程序 可 以 通过 连续 应 用 遗传 算 子 演化 得 到 。 在 
遗传 程序 设计 中 ， 改 编 的 结构 是 按 层 次 组 织 的 计算 机 程序 段 。 学 习 器 保持 一 个 候选 程序 群体 。 程 
序 的 适应 度 由 该 程序 解决 问题 的 能 力 决定 ， 通 过 对 程序 子 树 应 用 交叉 和 变异 算 子 可 修改 程序 。 
遗传 程序 设计 搜索 一 个 不 同 大 小 和 复杂 度 的 计算 机 程序 空间 ;实际 上 ， 搜 索 空间 是 由 适合 问题 
域 的 终结 符 和 函数 组 成 的 所 有 可 能 的 计算 机 程序 空间 。 像 所 有 的 遗传 学 习 器 -一样 ， 这 个 搜索 是 
任意 的 、 盲 目的 ， 但 有 令 人 吃惊 的 效果 。 

遗传 程序 设计 从 一 个 初始 的 任意 产生 的 程序 群体 开始 ， 这 些 程序 由 合适 的 程序 片段 组 成 。 
这 些 片段 适合 问题 域 ， 可 能 包括 标准 的 算术 操作 、 其 他 相关 的 程序 操作 、 数 学 函数 以 及 逻辑 的 和 
特殊 域 的 函数 。 程 序 的 组 成 部 分 包括 通常 类 型 的 数据 项 ，boolean、integer、floating point、vector、 
symbolic 或 multiple-valued 。 

初始 化 后 ， 成 和 于 上 万 的 计算 机 程序 开始 遗传 繁殖 。 应 用 遗传 算 子 产生 新 的 程序 。 交 又 算 子 、 
变异 算 子 和 其 他 的 繁殖 算法 都 必须 修改 用 于 产生 计算 机 程序 。 稍 后 我 们 将 看 到 几 个 例子 。 新 程 
序 的 适应 度 由 它 在 特定 的 问题 领域 环境 中 的 执行 表现 决定 。 适 应 度 的 本 质 是 随 问题 领域 的 变化 
而 变化 的 。 任 何在 执行 任务 中 表现 好 的 程序 将 会 存活 ， 然 后 产生 后 一 代 的 程序 。 

总 之 ， 遗 传 程序 设计 包括 6 个 部 分 ， 很 多 与 遗传 算法 的 要 求 相 同 ， 

1) 通过 遗传 算 子 进行 转换 的 结构 集 。 

2) 适合 问题 域 的 初始 结构 集 。 

3) 评估 结构 的 适应 度 测 定 ， 它 与 领域 相关 。 

4) 转换 结构 的 遗传 算 子 集 。 

5) 描述 每 一 代 成 员 的 参数 和 状态 描述 。 

6) 终止 条 件 集合 。 

在 下 面 几 段 文字 中 详细 讨论 这 些 问题 。 

遗传 程序 设计 操作 按 层次 组 织 程序 模型 。LISP 曾经 是 (现在 还 是 ) 程序 设计 语言 成 分 的 主 
要 表达 方法 : Koza 用 LISP 符号 表达 式 或 者 s- 表 达 式 《关于 s- 表 达 式 的 讨论 参见 补充 材料 ， 它 的 
自然 表达 方式 是 用 树 结 构 ) 代表 程序 段 。 

遗传 算 子 控制 s- 表 达 式 。 特 别 是 ， 算 子 映射 -表达 式 的 树 结 构 (LISP 的 程序 段 ) 到 新 树 
(新 的 LISP 程序 段 ) 。 尽 管 s- 表 达 式 是 Koza 早期 工作 的 基础 ， 但 其 他 研究 者 很 多 都 把 这 个 方法 用 
于 不 同 的 程序 设计 范例 语言 。 

如 果 可 以 得 到 原子 片段 和 问题 域 的 可 估计 预测 ， 遗 传 程序 设计 将 可 生成 很 有 用 的 程序 。 当 
我 们 为 产生 能 解决 问题 的 程序 创建 域 时 ， 我 们 首先 必须 分 析 什 么 是 问题 求解 的 终结 符 ， 以 及 需 
要 什么 样 的 函数 去 产生 这 样 的 终结 符 。 就 如 Koza (1992，p. 86) 所 说 “…… 遗传 程序 设计 的 使 
用 者 必须 明白 …… 他 所 提供 的 函数 和 终端 的 某 种 构成 能 产生 问题 的 解 。” 

为 了 初始 化 遗传 算 子 改编 的 结构 ， 我 们 必须 创建 两 个 集合 : 函数 集 F 和 域 需要 的 终结 符 集 
合 T。F 可 以 是 简单 的 { +, *, -,/}， 也 可 以 是 更 复杂 的 函数 如 sin (X) 、cos (X) 或 者 矩阵 运 
算 。 TT 可 以 是 整数 、 实 数 、 和 矩阵 或 更 复杂 的 表达 式 。T 中 的 符号 必须 对 F 中 定义 的 函数 是 封 
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闭 的 。 

然后 ， 从 集合 F 和 工 的 并 集中 随机 选择 元 素 产生 初始 程序 群体 。 例 如 ， 如 果 我 们 先 从 T 中 
选择 元 素 ， 我 们 就 形成 一 棵 只 有 一 个 根 结 点 的 退化 树 。 更 有 意思 的 是 ， 如 果 我 们 先 从 F 中 取 ， 
比如 是 + ， 我 们 就 得 到 一 个 根 结 点 和 两 个 潜在 孩子 的 树 。 假 定 下 一 步 初始 化 程序 从 F 中 选择 * 
当 作 该 树 的 第 一 个 孩子 ， 从 T 中选 6 当 作 第 二 个 孩子 。 然 后 任意 选择 终结 符 8 和 F 中 的 函数 + 。 
最 后 从 T 中 选择 5 和 7。 

我 们 随意 产生 的 程序 如 图 12-4 所 示 。 图 12-4a 是 首次 选择 + 后 的 树 结构 ， 图 12-4b 是 选择 终 
结 符 6 之 后 的 树 结构 ， 图 12-4c 是 最 后 的 程序 。 一 个 类 似 的 程序 群体 产生 了 ， 它 构成 遗传 程序 设 
计 的 初始 化 过 程 。 约 束 集合 ,例如 程序 演化 的 最 大 深度 ， 能 帮助 修 前 这 个 群体 。 这 些 约束 的 描 
述 ， 以 及 产生 初始 化 群体 的 不 同方 法 在 Koza (1992) 中 有 详细 描述 。 


a 


@ 


入 
a) b) c) 


图 12-4 初始 化 时 任意 产生 的 程序 
注 : 圆圈 结 点 是 从 函数 集中 得 到 的 


到 此 我 们 介绍 了 表示 方法 〈s- 表 达 式 ) 和 程序 演化 的 初始 化 环境 所 必须 的 树 结构 。 然 后 ， 我 
们 还 需要 程序 群体 的 适应 度 度量 。 适 应 度 是 与 问题 领域 相关 的 ， 通 常 包 括 一 个 演化 程序 执行 的 
任务 集 。 适 应 度 度量 本 身 是 一 个 这 样 的 函数 : 度量 每 一 个 程序 在 任务 集 上 执行 结果 的 好 坏 。 一 个 
简单 的 方法 是 原始 适应 性 计 分 法 ， 它 把 程序 产生 的 结果 与 实际 结果 的 差异 累加 ， 因 此 ， 原 始 适 
应 性 计 分 法 可 看 成 是 作用 在 任务 集 上 的 误差 之 和 。 当 然 ， 其 他 的 适应 度 度量 也 是 可 能 的 。 规 一 化 
的 适应 性 是 原始 适应 性 分 数 除 以 所 有 可 能 的 误差 之 和 ， 因 此 ， 适 应 度 的 范围 就 是 0 ~ 1。 适 应 度 
度量 也 能 包含 程序 大 小 的 调整 ， 如 奖励 一 个 小 的 音 音 程序 。 

在 程序 上 的 遗传 算 子 既 包 括 一 棵 树 本 身 的 转化 ， 也 包括 在 树 之 间 结 构 的 交换 。Koza (1992) 
将 主要 的 转换 描述 为 复制 和 交叉 。 复 制 是 简单 地 从 当前 代 中 选择 程序 ， 然 后 把 它 〈 无 变化 地 ) 
拷贝 到 下 一 代 中 。 交 叉 是 交换 代表 两 个 程序 的 两 棵 树 的 子 树 结构 。 例 如 ， 假 如 图 12-5 中 的 两 棵 
树 是 双亲 程序 ， 在 双亲 程序 a 和 b 中 用 “| ”表示 的 任意 位 置 是 被 选择 的 交叉 点 ， 交 叉 结 果 显 
示 在 图 12-6 中 。 交 又 也 可 用 于 改变 单个 双亲 程序 ， 内 部 交换 双亲 程序 的 两 棵 子 树 即 可 。 两 个 相 
同 的 双亲 程序 任意 选择 不 同 的 交叉 点 能 产生 不 同 的 子 树 。 程 序 的 根 结 点 也 可 当 作 交叉 点 。 

还 有 其 他 的 程序 树 结 构 的 遗传 转化 ， 只 是 用 得 比较 少 。 包 括 变异 转化 只 是 在 一 个 程序 结构 
的 内 部 进行 改变 。 例 如 ， 用 另 一 个 数值 或 者 是 表示 函数 的 子 树 代 蔡 一 个 终结 符 。 置 岳 转 化 与 在 字 
符 串 中 的 反 转 算 子 类 似 ， 它 也 是 作用 于 单个 程序 ， 交 换 终 结 符 或 者 子 树 。 

当前 的 程序 群体 反应 了 解 的 状态 。 因 为 既 没 有 保持 回 湖 的 记录 ， 也 没有 其 他 方法 使 之 在 适 


366 和 锚 四 部 分 砚 吉 学 习 








应 值 曲面 上 跳跃 。 从 这 个 角度 看 ， 遗 传 程序 设计 更 像 在 4. 1 节 描述 的 息 山 算法 。 遗传 程序 设计 范 
例 在 新 程序 的 演化 是 一 个 正在 继续 的 过 程 这 一 点 上 带 有 并 行 性 。 不 过 ， 时 间 和 资源 不 是 无 限 的 ， 
因此 要 设置 终止 条 件 。 它 们 通常 是 程序 适应 度 和 计算 资源 的 函数 。 


0 





4 6 10 于 COS 
6 


a) b) a) b) 


图 12-5 基于 适应 性 选 出 交叉 的 两 个 程序 图 12-6 图 12-5 中 的 交叉 产生 的 子 程序 
注 : a 和 b 中 的 “| ”所 示 位 置 是 任意 选择 的 交叉 位 置 


因为 遗传 程序 设计 是 一 种 产生 计算 机 程序 的 技术 这 个 事实 ， 有 人 把 它 放 人 传统 的 自动 程序 
设计 的 范畴 。 在 早期 的 人 工 智能 研究 中 ， 研 究 者 就 进行 了 从 程序 段 信息 自动 产生 计算 机 程序 的 
工作 (Shapiro 1992 ) 。 遗 传 程序 设计 可 看 作 是 这 个 重要 领域 中 另外 一 种 工具 。 我 们 用 Witehell 
(1996) 的 一 个 简单 的 遗传 程序 设计 的 例子 结束 本 节 。 

例 3.2.1 演化 一 个 反映 开 普 勒 行星 运动 第 三 定律 的 程序 

Koza (1992，2005) 用 遗传 程序 设计 解决 了 很 多 有 趣 的 问题 ， 但 是 很 多 这 样 的 例子 对 我 们 现 
在 来 说 太 复杂 。 然 而 ，Mitechell (1996) 创建 了 一 个 简单 的 例子 阐述 遗传 程序 设计 的 很 多 概念 。 
开 普 勒 行星 运动 第 三 定律 描述 的 是 行星 运行 周期 P 和 它 到 太阳 的 平均 距离 A 之 间 的 函数 。 

开 普 勒 第 三 定律 的 函数 是 : 

P? =cA” 其 中 c 是 常数 
如 果 我 们 假设 P 用 地 球 年 作为 单位 ，A 用 地 球 到 太阳 的 平均 距离 作为 单 
位 ， 则 c=1。 这 个 关系 的 s -表达 式 是 : (saRT ) 

P=(sqrt( x A( * A A))) @ 
因此 ， 我们 想得到 的 程序 可 用 图 12-7 所 示 的 树 结构 表示 。 

在 这 个 例子 中 终结 符号 集 的 选择 是 很 简单 的 ， 它 是 由 A 给 定 的 一 个 
实数 。 函 数 集合 也 相对 比较 简单 ， 就 是 { +，- ，* ,/, sq, sqrt} 。 下 一 步 A (¥) 
我 们 要 创建 开始 的 随机 程序 群体 。 初 始 程序 群体 可 包括 ， 

(*A (~(*AA) (sartA))) 适应 度 : 1 


UAUUAA)UAA))) 适应 度 : 3 A A 

(+ A (* (sqrt A) A)) 适应 度 :0 图 12-7 代表 开 普 勒 第 

三 定名 道 

(我 们 马上 解释 附加 适应 度 度量 ) 。 在 这 一 节 的 前 面 提出 过 ， 初 始 群 人 
体 在 大 小 和 深度 方面 有 一 定 的 限制 ， 且 与 问题 领域 的 知识 相关 。 这 三 个 目标 程序 


例子 用 图 12-8 中 的 树 结构 表示 。 
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G9 (7) 中 
A (一 ) A (/) A (Gt) 
全 CO (0 A 
A A A A AA A A 
适应 度 = 1 适应 度 = 3 适应 度 = 0 


图 12-8 解决 轨道 周期 问题 初始 程序 群体 中 的 成 员 


下 一 步 我 们 确定 程序 群体 的 合适 测验 。 假 定 我 们 知道 一 些 行星 的 相关 数据 。 例 如 ， 表 12-3 
中 的 行星 数据 来 自 Urey (1952) ， 它 给 出 了 一 个 我 们 的 演化 程序 必须 解释 的 数据 点 集 。 


表 12-3 ”适应 度 事例 集合 ， 行 星 数据 来 自 Urey (1952) 
注 ; A 是 地 球 轨道 的 主 半 轴 ，P 是 用 地 球 年 作为 单位 





行星 A (输入 ) P《〈 输 出 ) 
Venus 0.72 0.61 
Earth 1.0 1.0 
Mars 1.52 1.87 
Jupiter 5.2 11.9 
Satum 9. 53 29.4 
”Uranus 19. 1 83. 5 


因为 适应 度 度量 是 我 们 要 解释 的 数据 点 的 函数 ， 我 们 定义 适应 度 为 程序 的 输出 个 数 ， 在 正 
确 输出 值 20% 的 范围 内 。 我 们 用 这 个 定义 去 创建 图 12-8 中 三 个 程序 的 适应 度 度量 。 剩 余 的 工作 
还 有 : 生成 更 多 的 初始 群体 成 员 ; 创建 能 产生 新 一 代 程 序 的 交叉 和 变异 算 子 ; 确定 终止 条 件 。 这 
些 都 留 给 读者 去 完成 。 


12. 3 ”人 工 生命 和 基于 社会 的 学 习 


在 这 一 节 的 开始 ， 我 们 先 介绍 一 个 “生命 游戏 ”的 简单 版 本 。 这 个 游戏 在 计算 机 视觉 模拟 
中 经 常 出 现 ， 视 觉 模拟 中 连续 生成 的 各 代 快 速 变 化 ， 然 后 在 屏幕 上 显示 。 它 首先 由 数学 家 John 
Horton Conway 提出 ， 通 过 Martin Gardner 在 《Scientific American》 上 的 讨论 ， 它 名 声 远 扬 。 生 命 
游戏 是 一 个 叫做 细胞 自动 机 (CA) 的 计算 模型 的 简单 例子 。 细 胞 自动 机 与 简单 的 有 限 状 态 自动 
机 相似 。 

定义 《有限 状态 自动 机 或 细胞 自动 机 ) 

1) 一 组 输入 字母 1。 

2) 一 组 自动 机 可 能 状态 S。 

3) 指定 状态 so 为 初始 状态 。 

4) 下 一 状态 函数 N: S xl 一 S， 为 含有 当前 状态 和 当前 和 输入 的 有 序 对 指定 下 一 个 状态 。 
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在 3.1 节 曾 介绍 过 ， 有 限 状 态 自动 机 (FSM) 的 输出 是 一 个 关于 当前 状态 和 输入 值 的 函数 。 
细胞 自动 机 将 当前 状态 的 输入 定义 为 “ 相 邻 ”状态 的 函数 。 因 此 ， 在 时 刻 (t+1) 的 状态 是 它 
本 身 在 时 刻 t 的 状态 和 它 的 邻居 的 时 刻 t 的 状态 的 函数 。 通 过 与 邻居 的 相互 作用 ， 细 胞 自动 机 集 
合 与 简单 定义 的 单个 自动 机 相 比 可 以 有 更 加 丰富 的 行为 。 因 为 状态 的 输出 是 相 邻 状态 的 函数 ， 
我 们 称 这 种 相 邻 有 限 状 态 自动 机 集合 的 演化 是 基于 社会 的 适应 和 学 习 。 

对 于 这 一 节 描 述 的 社会 ， 没 有 外 在 的 对 于 个 体 成 员 的 适应 性 评估 。 群 体 中 个 体 的 相互 作用 
会 产生 适应 性 ， 相 互 作用 可 导致 单个 自动 机 “死亡 ”"。 适 应 性 是 隐 含 在 个 体 从 一 代 存 活 到 另 一 代 
的 过 程 中 的 。 细 胞 自动 机 中 的 学 习 是 典型 的 无 监督 学 习 。 像 自然 进化 一 样 ， 适 应 性 是 由 群体 中 其 
他 的 共同 进化 成 员 的 作用 形成 的 。 

全 局 的 或 面向 社会 的 观点 让 我 们 对 学 习 获得 重要 的 看 法 。 我 们 不 再 把 注意 力 集中 在 单个 个 
体 上 ， 而 是 看 整个 社会 的 不 变性 和 呈现 的 规律 。 这 是 12. 3. 2 节 将 介绍 的 Crutchfield - Mitehell 研 
究 的 重要 方面 。 

最 后 ,不 像 有 监督 学 习 ， 进 化 不 需要 目的 性 。 也 就 是 说 , 个 体 组 成 的 社会 不 需要 认定 
是 “到 哪儿 去 ”， 或 说 到 达 某 个 终点 。 在 这 一 章 的 前 几 节 我 们 用 到 显 式 的 适应 值 度量 时 ， 
我 们 有 收敛 的 偏 置 。 但 是 Stephen Jay Gould (1977，1996) 指出 ， 进 化 不 应 该 被 看 作 是 使 事 
情 “ 变 得 更 好 ” ， 而 仅仅 是 应 该 适应 生存 。 惟 一 的 成 功 是 继续 生存 ， 出 现 的 模式 就 是 社会 
模式 。 


12. 3. 1 生命 游戏 


考虑 图 12-9 中 的 简单 的 二 维 网 格 或 说 是 游戏 板 。 这 里 有 一 个 方 框 被 占用 (有 一 个 位 值 1)， 
涂 成 了 黑色 ， 它 的 8 个 邻居 用 灰色 阴影 表示 。 在 游戏 过 程 中 这 个 
板 面 会 发 生变 化 ， 在 时 刻 t+1 任意 方 框 的 状态 是 它 本 身 在 时 刻 | [| 
的 状态 和 它 邻居 在 时 刻 t 的 状态 的 函数 。 三 条 简单 的 规则 可 让 游戏 SYSSRS 
进化 : 第 一 ， 任 意 方 框 ， 不 管 占用 与 否 ， 如 果 恰好 有 三 个 邻居 被 SN_ 
占用 ， 在 下 一 时 刻 它 将 被 占用 ; 第 二 ， 任 何 被 占用 了 的 方 框 如 果 ES 
恰好 有 两 个 邻居 被 占用 ， 它 在 下 一 时 刻 将 继续 被 占用 ; 最后， 对 SN 
于 所 有 其 他 的 情形 ， 下 一 时 刻 都 不 占用 。 RRN 

对 于 这 些 规则 的 一 个 解释 是 : 对 于 每 一 代 或 时 间 周期 ， 任 何 | 
位 置 的 生命 也 就 是 说 方 框 是 否 被 占用 或 状态 值 是 否 为 1， 它 是 本 身 
和 在 当前 时 刻 邻居 的 状态 相互 作用 的 结果 。 特 别 是 ， 任 何 时 刻 如 “图 12-9 阴影 区 域 代表 “生命 
果 邻 域 群体 的 密度 太 大 (超过 三 个 ) 或 太 小 〈 少 于 两 个 ) ， 则 在 游戏 ”中 的 相 邻 集合 
下 一 时 刻 将 不 会 有 生命 出 现 。 

例如 ， 考 虑 图 12-10a 中 的 状态 。 这 里 只 有 两 个 方 框 (用 x 标 出 ) 恰好 有 三 个 被 占用 了 的 邻 
居 。 在 下 一 生命 周期 产生 图 12-10b。 同 样 这 里 只 有 两 个 方 框 (用 y 标 出 ) 恰好 有 三 个 被 占用 了 
的 邻居 。 显 而 易 见 ， 这 个 场景 的 状态 在 图 12-10a 和 图 12-10b 之 间 循 环 。 读 者 可 算出 图 12-11a 和 
图 12-11b 下 一 时 刻 的 状态 。Poundstone (1985) 描述 了 一 个 非常 丰富 的 具有 多 样 性 的 结构 ， 它 可 
出 现在 生命 游戏 中 ,例如 “滑行 器 ”"， 它 是 一 个 细胞 模型 ， 它 的 形状 在 生命 周期 中 会 不 断 变化 ， 
详 见 图 12-12。 
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图 12-10 产生 闪光 现象 的 邻 域 集合 


ee 


图 12-11 在 下 一 个 生命 周期 中 这 些 模式 会 发 什么 变化 


Ea 


time 0 time 1 time 2 time 3 time 4 


图 12-12 “滑行 器 ”在 屏幕 中 移动 


因为 细胞 自动 机 能 通过 简单 细胞 的 相互 作用 产生 丰富 的 行为 集合 ， 它 被 证 明 是 研究 从 简单 
的 无 生命 成 分 进化 到 生命 的 数学 方法 的 重要 工具 。 人 工 生 命定 义 为 通过 人 工 的 努力 而 不 是 自然 
力量 产生 生命 。 从 前 面 的 例子 可 看 出 ， 人 工 生命 有 很 强 的 “ 冒 出 ”的 味道 ， 也 就 是 说 ， 生 命 系 
统 的 原子 被 定义 和 组 合 ， 然 后 它们 物理 的 相互 作用 就 出 现 。 这 种 生命 形式 的 规则 由 有 限 状 态 自 
动机 捕获 。 

但 是 一 个 生命 结构 有 什么 用 ? 例如 ， 在 生物 学 上 ， 自 然 界 产生 的 生命 实体 集合 可 能 很 分 散 ， 
很 复杂 ， 它 们 被 意外 的 历史 的 偶然 性 所 统治 。 我 们 相信 在 产生 这 些 生 命 集 时 有 逻辑 的 规则 ， 但 是 
它们 不 需要 存在 。 并 不 是 我 们 把 眼光 限定 在 自然 界 实际 提供 的 生命 集合 上 ， 我 们 就 能 发 现 很 多 
那些 可 能 的 规律 。 探 索 整个 可 能 的 生物 规律 是 很 重要 的 ， 部 分 因为 历史 的 意外 而 被 消除 。 我 们 经 
常 感到 疑惑 ， 如 果 丽 龙 不 意外 地 消失 的 话 我 们 现在 的 世界 会 怎样 。 为 了 发 现实 际 的 规律 ， 去 理解 
可 能 性 的 限制 条 件 是 必须 的 。 

除了 人 类 学 家 和 其 他 科学 家 的 努力 填补 了 实际 进化 知识 的 空白 ， 也 有 人 思索 重 现 进 化 本 身 
的 过 程 。 如 果 进 化 从 不 同 的 初始 条 件 出 发 ， 将 会 发 生 什 么 事情 ? 如 果 在 我 们 的 物理 和 生物 环境 中 
出 现 意 外 事故 ， 将 会 出 现 什么 事物 ?什么 事物 会 保持 不 变 ? 在 地 球 上 发 生 的 实际 进化 路 径 是 多 种 
可 能 情况 中 的 一 种 。 如 果 我 们 能 产生 很 多 可 能 的 生物 个 体 ， 那么 这 些 问 题 就 可 能 得 到 解答 。( 见 
12. 3. 3 节 中 可 编程 人 工 细 胞 演变 (Programmable Artificial Cell Evolution，PACE) 的 例子 。) 
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人 工 生命 技术 不 仅仅 局 限于 计算 机 产生 的 人 造物 或 生物 领域 。 来 自 不 同 领域 (诸如 化 学 和 
药理 学 ) 的 科学 家 构造 了 综合 人 造 体 ， 很 多 与 我 们 现实 中 实体 的 知识 相关 。 例 如 ， 在 化 学 领域 ， 
对 物质 内 部 结构 和 很 多 自然 界 提供 的 化 合 物 的 研究 使 我 们 能 够 分 解 化 合 物 、 化 合 物 组 成 成 分 以 
及 化 合 物 的 化 学 键 。 这 种 分 解 和 重新 组 合 产生 了 很 多 自然 界 中 本 来 没有 的 化 合 物 。 可 见 ， 通 过 对 
自然 界 中 化 合 物 的 仔细 分 析 ， 我们 开始 了 解 那些 可 能 的 化 合 物 集合 。 

了 解 可 能 世界 的 一 个 工具 是 在 运动 和 相互 作用 影响 的 基础 上 模拟 和 分 析 社 会 。 我 们 在 生命 
游戏 中 有 一 个 简单 的 例子 。 图 12-12 展示 的 时 间 周 期 序列 实现 了 我 们 前 面 提 到 的 “滑行 器 " 。 滑 
行 器 经 过 游戏 空间 时 只 有 很 少 的 几 个 模式 在 循环 。 在 四 个 时 间 周期 中 ， 它 的 行动 是 简单 地 移动 
到 一 个 新 位 置 : 整个 阴影 图 形 往 右 移动 一 格 ， 往 下 移动 一 格 。 

生命 游戏 的 一 个 有 意思 的 特征 是 像 滑行 器 这 样 的 实体 在 与 社会 的 其 他 成 员 相 互 作用 之 前 它 
能 保持 不 变 ， 相 互 作用 后 会 发 生 什么 就 很 难 了 解 和 预测 了 。 例 如 ， 在 图 12-13 中 ， 我 们 可 看 到 这 
样 的 情形 ， 两 个 滑行 器 出 现 和 接近 。 经 过 四 个 周期 后 ， 向 下 边 和 左边 移动 的 滑行 器 被 另外 一 个 实 
体 “消灭 * 了 。 看 看 我 们 的 本 体 论 描述 是 很 有 意思 的 ， 也 就 是 说 ， 我 们 用 “实体 “、“ 闪 光 物 ”、 
“滑行 器 ”和 “消灭 ”这 些 词 的 时 候 ， 反 映 了 我 们 在 观察 生命 形式 和 相互 作用 时 ， 不 管 是 人 工 的 
还 是 自然 的 ， 我 们 都 带 有 以 人 为 中 心 的 偏见 。 





time 0 time 1 
图 12-13 ”一 个 “举行 器 ”被 另 一 个 实体 消灭 


12. 3.2 ”进化 规划 


“生命 游戏 ”是 细胞 自动 机 的 一 种 直观 的 、 高 度 可 描述 性 的 例子 。 通 过 将 细胞 自动 机 描绘 成 
有 限 状 态 自 动机 ， 可 以 推广 我 们 关于 细胞 自 动机 的 讨论 。 现 在 讨论 由 多 个 FSM 连接 的 社会 ， 并 
把 它们 作为 突现 的 实体 来 进行 分 析 。 这 个 研究 有 时 也 叫做 进化 规划 《evolutionary programming ) o 

进化 规划 的 历史 可 追 滴 到 计算 机 本 身 的 开端 。John von Neumann 于 1949 年 在 一 系列 的 讲座 
中 提出 这 样 的 问题 : 当 自我 复制 出 现时 需要 什么 层次 的 有 组 织 的 复杂 性 (Burks 1970) 。Burks 引 
述 von Neumann 的 目标 :“…… 不 是 试图 模拟 自然 界 中 在 遗传 和 生物 化 学 层次 上 的 自我 复制 ， 他 
希望 抽象 出 自然 界 自我 复制 问题 的 逻辑 形式 。 

避 开 化 学 的 、 生 物 的 和 机 械 的 细节 ，von Neumann 能 表示 出 自我 复制 的 本 质 需 求 。von Neu- 
mann 继续 努力 想 设 计 出 (一 直 没 有 做 到 ) 一 种 自我 复制 的 机 器 ， 它 包括 一 个 两 维 的 细胞 组 织 结 
构 ， 这 个 组 织 包含 很 多 有 29 个 状态 的 自动 机 ， 对 于 每 一 个 自动 机 ， 它 的 下 一 个 状态 是 它 本 身 的 
当前 状态 和 它 的 四 个 直接 邻居 的 状态 的 函数 〈Burks 1970，1987 )。 

有 意思 的 是 ，von Neumann 设计 的 自我 复制 机 器 据 估计 包含 至 少 40 000 个 细胞 ， 它 有 通用 图 
灵机 的 功能 。 这 种 通用 计算 装置 也 是 一 种 通用 构造 ， 因 为 该 装置 能 够 读 出 纸 带 中 的 输入 ， 解释 纸 
带 中 的 数据 ， 并 通过 使 用 一 个 机 械 手 臂 ， 在 未 被 占用 的 细胞 空间 中 创建 纸 带 中 描述 的 配置 。 通 过 
把 构造 自动 机 本 身 的 描述 输入 纸 带 中 ，von Neumann 创建 了 能 自我 复制 的 自动 机 (Arbib 1966) 。 

后 来 Codd (1968) 减少 了 可 计算 通用 自 复制 自 动机 中 所 需要 的 状态 数 ， 从 29 个 减少 到 了 8 
个 ， 但 是 整个 设计 估计 需要 100 000 000 个 细胞 。 后 来 ，Devore 简化 了 Codd 的 机 器 ， 只 占用 
87 500 个 细胞 。 现 在 ，Langton 创建 了 一 个 不 具有 通用 可 计算 性 的 自 我 复制 的 自动 机 ， 它 占用 100 
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个 细胞 ， 每 个 细胞 仅 有 8 个 状态 (Langton 1986 ，Hightower 1992 ，Codd 1992 ) 。 这 个 研究 领域 的 
当前 进展 可 在 人 工 生命 会 议 的 论文 集中 发 现 (Langton 1989 ，Langton et al. 1992) 。 

因此 ， 自 复制 自动 机 的 形式 分 析 在 计算 理论 中 有 很 深 的 根源 。 也 许 更 令 人 兴奋 的 结果 隐 含 
在 人 工 生 命 形式 的 经 验 研究 中 。 这 些 程 序 的 成 功 不 是 由 某 个 先 验 的 适应 度 痛 数 来 表示 ， 而 是 由 
它们 能 存活 和 复制 的 简单 事实 来 表示 。 成 功 的 标志 是 它们 能 够 存活 。 这 些 程序 也 有 不 光彩 一 面 ， 
我 们 经 历 过 计算 机 病毒 和 蠕虫 ， 它 们 能 进入 外 部 主机 ,复制 它们 本 身 〈 通 常会 摧毁 在 内 存 中 的 
复制 所 需要 的 信息 ) ， 并 移动 继续 感染 其 他 的 外 部 主机 。 

我 们 通过 讨论 几 个 人 工 生命 计算 (a-life computing) 的 研究 课题 来 总 结 一 下 本 节 。 第 12 章 最 
后 一 节 有 一 个 应 急 运 算 (Sante Fe Institute 的 Melane Mitchell 以 及 他 的 学 生 ) 的 例子 。 我 们 先 讨 
论 两 个 本 书 先前 介绍 过 的 课题 ， 它 们 是 由 MIT 的 Rodney Brooks 和 斯 坦 福 大 学 的 Nils Nilsson 及 他 
的 学 生 提 出 的 。 在 稍 早 一 些 的 论述 中 ，Brooks 的 工作 是 在 表示 的 一 般 标 题 下 进行 的 〈( 见 6.3 节 )， 
而 Nilsson 的 工作 是 在 规划 主题 下 进行 的 ( 见 7.4.3 节 )。 在 本 章 中 ， 我 们 要 在 人 工 生命 和 涌现 现 
象 的 上 下 文中 再 次 讨论 这 两 个 课题 。 

MIT 的 Rodney Brooks (1991a，b) 在 人 工 生 命 的 前 提 上 创建 了 一 个 研究 课题 ， 也 就 是 通过 
很 多 的 简单 自治 的 主体 的 相互 作用 产生 智能 。Brooks 的 方法 常常 被 描述 成 是 “没有 表示 的 智 
能 ” 。Brooks 制造 了 一 系列 的 机 器 人 ， 它 们 能 感知 障碍 物 ， 并 在 MIT 的 办 公 室 和 走廊 中 走 来 走 去 。 
基于 包容 结构 ， 这 些 主 体能 徘徊 、 探 索 和 避 开 其 他 的 目标 。 这 个 系统 的 智能 是 简单 组 织 和 与 环境 
相互 作用 的 结果 。Brooks 说 :“ 我 们 把 有 限 状 态 自 动机 捆绑 成 控制 器 的 控制 层 。 每 个 层 都 在 已 存 
在 层 顶部 创建 。 低 层次 的 构造 层 从 来 不 依靠 高 层次 的 构造 层 的 存在 。” 更 多 文献 包括 : McGonigle 
(1990, 1998), Brooks (1987, 1991a), Lewis and Luger (2000 ) 。 

Nils Nilsson 和 他 的 学 生 (Nilsson 1994，Benson 1995，Benson and Nilsson 1995 ) 为 主体 控制 
设计 了 一 个 teleo-reaetive (T-R) 程序 ， 这 个 程序 不 断 考虑 改变 的 环境 因素 ,为 主体 提供 向 目标 
前 进 的 方向 。 这 个 程序 的 运行 非常 类 似 产 生 式 系统 ,但 也 支持 持续 动作 ,或 是 在 任意 的 时 间 周 期 
中 发 生 的 动作 ， 例 如 “向 前 直到 ……”。 因 此 ， 与 普通 的 产生 式 系统 不 同 ， 条 件 值 必须 被 不 断 地 
计算 ， 与 当前 最 准确 的 条 件 关 联 的 动作 通常 是 一 个 要 执行 的 动作 。 对 于 进一步 的 细节 ， 感 兴趣 的 
读者 可 参见 Nilsson (1994) 、Benson (1995) 、Benson 和 Nilsson (1996 ) 、Klein 等 (2000) 。 

欧洲 联盟 委员 会 正在 支持 PACE (可 编程 人 工 细 胞 演变 ) 项 目 。 现 在 已 研究 出 新 一 代 合成 化 
学 细胞 。 关 键 点 在 于 生命 是 在 生命 计算 系统 中 进化 的 ， 并 且 是 自 组 织 与 自修 复 的。 而 完成 的 人 造 
细胞 也 是 可 以 自我 繁殖 和 进化 的 ， 并 且 它 们 可 以 用 更 为 简单 的 环境 资源 来 维持 复杂 的 结构 。 

斯 坦 福 大 学 的 John Koza 又 公布 了 一 些 遗 传 程序 设计 方面 的 研究 成 果 。 最 近 的 成 果 包 括 集成 
电路 和 控制 器 的 自动 发 展 ， 电 路 的 拓扑 、 测 量 和 布置 路 线 的 合成 ， 以 及 其 他 人 造 工 件 。 相关 信息 
可 参见 Koza (2005) 。 

这 四 项 研究 成 果 是 庞大 的 基于 自动 机 的 研究 项 目 中 的 样本 。 这 些 项 目 是 基础 性 的 实验 。 它 
们 会 提出 现实 世界 中 的 一 些 问题 。 现 实 世 界 中 成 功 的 算法 能 存活 ， 进一步 成 长 ， 同 时 不 具有 适应 
性 的 系统 将 会 消亡 。 

最 后 ， 我 们 考虑 来 自 圣 达 菲 研究 所 的 一 个 研究 : 涌现 的 实例 研究 。 


12. 3. 3 涌现 的 实例 研究 


Crutchfield 和 Mitchell 探索 在 简单 系统 间 进 化 和 相互 作用 的 能 力 ， 以 便 产 生 处 理 相互 关系 的 
高 层 的 集合 信息 。 他 们 的 研究 提供 了 一 个 涌现 (在 进化 或 遗传 算法 的 支持 下 ) 的 例子 ， 它 是 一 
个 空间 系统 全 局 计算 的 实例 的 涌现 ， 这 个 系统 由 分 布 的 和 局 部 的 相互 作用 的 细胞 或 处 理 器 组 成 。 
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术语 涌现 计算 (emergent computation) 描述 的 是 这 些 系统 中 处 理 各 个 结构 的 全 局 信息 的 涌现 。 
Cmtchfield 和 Mitchell 的 目标 是 描述 这 样 的 一 种 体系 结构 和 机 制 : 它 能 充分 进化 和 支持 涌现 计算 
的 方法 。 

细胞 自动 机 由 很 多 单个 细胞 组 成 ; 实际 上 ， 我 们 例子 中 的 每 个 自动 机 都 含有 149 个 细胞 。 这 
些 二 值 状态 的 细胞 分 布 在 一 维 空间 中 。 每 个 细胞 状态 的 改变 是 它 本 身 的 状态 和 它 的 两 个 直接 邻 
居 的 状态 的 函数 。 细 胞 自动 机 随 着 时 间 周 期 不 断 进化 ， 形 成 一 个 二 维 的 方 格 。 这 个 方 格 从 任意 产 
生 的 N 个 细胞 集合 开始 。 在 图 12-14 的 例子 中 ，149 个 细胞 进行 最 开始 的 149 个 周期 的 进化 (从 
0 周期 开始 ， 用 数字 0，1，…，148 表示 细胞 ) 。 这 些 细胞 自动 机 行为 的 两 个 例子 如 图 12-14 的 时 
空 图 所 示 。 在 这 个 图 中 ，1 用 黑色 细胞 表示 ,0 用 白色 细胞 表示 。 当 然 ， 表 示 细 胞 邻 域 的 不 同 规 
则 将 会 在 细胞 自动 机 的 时 空 图 中 产生 不 同 的 模式 。 


0 rp 0 





Time = ] Time 





| Site 148 0 Site 148 
a) b) 
图 12-14 显示 两 个 细胞 自动 机 行为 的 时 空 图 ， 用 遗传 算法 发 现 规则 


对 于 非 局 部 计算 或 一 般 涌 现 模型 ,它们 使 用 秽 入 粒子 。 每 一 个 时 空 图 在 一 定 范围 的 时 间 周 
期 内 循环 ，1 用 黑色 细胞 表示 ，0 用 白色 细胞 表示 ; 时 间 沿 向 下 的 方向 递增 ， 引 自 Crutchfield 和 
Mitchell (1995) 下 一 步 ， 我 们 描述 规则 集合 ， 它 们 决定 组 成 细胞 自动 机 的 细胞 行为 。 图 12- 15 
表示 了 一 个 一 维 二 值 状态 的 近邻 细胞 自动 机 ， 有 N = 11 个 细胞 。 图 中 举例 说 明了 方 格 和 更 新 方 
格 的 规则 表 。 方 格 每 经 一 步 都 会 发 生变 化 。 方 格 实际 应 该 是 圆柱 形 的 ， 它 的 最 左边 和 最 右边 的 细 
胞 是 邻居 〈 应 用 规则 集 时 这 一 点 很 重要 ) 。 它 的 规则 表 支 持 局 部 “多 数 投票 ”规则 : 如 果 邻 域 的 
三 个 细胞 大 部 分 是 1， 则 中 间 的 细胞 在 下 一 时 刻 就 是 1; 否则 ， 它 在 下 一 时 刻 就 变 成 0。 

Crutchfield 和 Mitchell 想 找 到 一 种 自动 机 ， 它 能 执行 以 下 的 计算 ， 这 里 叫做 “多 数 赢 ”: 如 果 
初始 的 方 格 大 多 数 都 是 1， 则 细胞 自动 机 最 终 进化 到 全 1; 否则 ， 它 进化 到 全 0。 这 个 研究 的 一 个 
有 趣 问题 是 很 难 设计 支持 “多 数 赢 ” 计 算 的 细胞 自动 机 规则 。 实 际 上 ， 在 Mitchell 等 (1996) 中 
表明 ， 简 单 的 7 邻居 的 “多 数 投票 ”规则 不 能 执行 “多 数 赢 ”计算 。 遗 传 算法 可 用 来 搜索 这 个 
规则 。 

12. 1 节 的 遗传 算法 对 于 细胞 自动 机 的 不 同 试验 创建 相应 的 规则 表 。 特 别 是 ， 可 以 使 用 遗传 
算法 来 进化 针对 一 维 的 二 值 状态 细胞 群体 (组 成 每 个 细胞 自动 机 ) 的 相应 规则 。 适 应 性 函数 用 
于 奖赏 那些 支持 “多 数 赢 ” 策 略 的 规则 。 因 此 ， 最 后 遗传 算法 创建 一 个 规则 集合 ， 它 的 适应 性 
是 一 个 加 强 全 局 多 数 规则 以 最 终 成 功 的 函数 。 适 应 性 好 的 规则 得 到 存活 ， 并 通过 交叉 组 合 产生 
后 代 ， 每 一 个 子孙 都 会 经 历 一 个 小 概率 的 变异 算 子 。 这 个 过 程 循环 100 代 ， 在 每 一 代 中 对 于 新 的 
初始 细胞 集 评估 适应 值 。 详 细 的 内 容 参 见 Crutchfield 和 Mitchell (1995 ) 。 

我 们 怎样 量化 更 成 功 的 细胞 自动 机 支持 的 涌现 计算 ? 就 像 很 多 空间 扩展 的 自然 过 程 一 样 ， 
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规则 表 : 
邻居 :000 001 010 011 100 101 110 111 
输出 位 0 0 0 1 0 1 1 1 





= 


图 12-15 阐述 一 维 的 两 状态 最 近邻 细胞 自动 机 ， 其 中 N=11 
注 : 图 中 举例 说 明了 方 格 和 更 新 方 格 的 规则 表 。 还 画 出 了 经 过 一 个 时 间 周 期 的 方 格 结构 细胞 自 
动机 是 圆 形 的 ， 因 为 两 端的 值 是 邻居 


细胞 结构 经 常 从 随时 间 变 化 进行 组 织 扩 展 到 随 与 时 间 同 构 的 空间 区 域 变化 进行 组 织 。 分 析 和 决 
定 执行 规则 应 该 是 一 个 自动 的 过 程 。 事 实 上 ，Hanson 和 Crutchfield (1992) 创立 一 种 用 于 最 小 确 
定性 有 限 自 动机 的 语言 ， 用 于 描述 每 个 细胞 自动 机 内 部 的 吸引 基 (attractor-basin) 。 这 种 语言 可 
用 来 描述 我 们 的 例子 。 
有 时 ， 在 图 12-14a 中 ,不 变 区 域 对 于 观察 者 来 说 是 很 显而易见 的 ， 也 就 是 说 ， 相 同 的 模式 
在 该 区 域 反复 出 现 。 我 们 标志 这 样 的 区 域 为 L， 为 了 更 好 地 描述 相互 作用 影响 的 计算 ， 我 们 过 滤 
这 些 不 变 元 素 。 表 12-4 描述 了 三 个 上 区域, L  ， 重 复 的 0 区 域 ; L  ， 重 复 的 1 区 域 ; L ， 重 复 的 
模式 10001 区 域 。 在 图 12-14 中 还 有 其 他 的 上 区域 ， 但 是 我 们 只 讨论 这 个 子 集 。 
表 12-4 规则 域 、 粒 子 ( 域 边界 } 、 粒 子 速率 ( 圆 括号 中 的 数 ) 和 图 12-14a 的 细胞 自动 机 的 空间 - 
时 间 行 为 的 粒子 相互 作用 的 目录 。 记 号 p ~ 入 “A 表示 p 是 构成 规则 域 人 和 A" 之 间 边 界 的 















































粒子 
规则 域 
A =0° | A'=1° A? = (10001) 
粒子 (速率 ) 
a~A'A' (1) | B~AeA: (0) 
Yy~A’A’ ( -2) | 8~AA’ (1/2) 
n~ A?A!' (4/3) | ~ A'A’ (3) 
相互 作用 
衰减 | Q>Y+hk 
反作用 | Qtr N+toYy, p+Y0 
漂 灭 N+ Y+6—go 


过 滤 掉 上 域 中 的 不 变 元 素 后 ， 能 看 到 这 些 域 间 的 相互 作用 。 在 表 12-4 中 ,描述 了 6 个 上 域 
的 相互 作用 ， 例 如 ,在 L 和 4 的 交界 处 的 粒子 。 所 有 1 域 和 0 域 的 交界 处 叫做 嵌 人 粒子 a。 
Crutchfield 和 Mitehell 认为 媒人 粒子 的 集合 是 在 长 期 的 时 间 和 空间 连续 区 间 中 传送 信息 (或 信和 号) 
.的 主要 机 制 。 当 这 些 粒 子 碰撞 时 ， 逻 辑 操作 就 会 作用 在 它们 上 。 因 此 ， 细 胞 自动 机 的 域 集合 、 
边界 、 粒 子 和 粒子 的 相互 作用 代表 了 基本 的 信息 处 理 元 素 ， 它 们 嵌入 在 细胞 自动 机 的 行为 中 ， 也 
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就 是 细胞 自动 机 的 固有 计算 中 。 

例如 ， 图 12-16 描述 了 图 12-14a 的 涌现 逻辑 。 为 了 域 边界 更 容易 观察 ，L 域 中 不 变 的 内 容 被 
过 滤 了 。 图 12-16 中 每 一 个 被 扩大 的 区 域 显示 了 两 个 相互 作用 的 嵌入 粒子 的 逻辑 。 粒 子 相互 作用 
&+ 8 一 上 ， 显 示 在 图 的 右上 方 ， 它 实现 了 一 个 这 样 的 逻辑 ;把 代表 空间 结构 的 信号 a 和 8 映射 到 
信号 K。 类 似 细节 可 见 粒子 相互 作用 上 + y->a。 把 代表 空间 结构 的 信号 上 和 y 映射 到 信号 w。 图 
12-16 的 更 完全 的 粒子 相互 作用 表 可 见 表 12-4。 


Time 
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图 12-16 ”对 应 图 12-14a 中 涌现 逻辑 分 析 
注 : 这 个 细胞 自动 机 有 3 个 域 、6 个 粒子 、6 个 粒子 循环 ， 如 表 12-4 所 述 。 域 已 经 
用 一 个 18 状态 的 非 线性 转换 器 进行 了 过 滤 ; 引 自 Mitchell 等 (1995) 


总 结 一 下 ，Crutchfield - Mitchell 研究 的 一 个 重要 结果 是 发 现 了 一 种 方法 ， 它 在 空间 分 布 的 系 
统 中 可 描述 涌现 计算 ， 这 个 系统 包括 局 部 相互 作用 的 细胞 单元 。 在 细胞 间 通 信 的 局 部 性 限制 了 
全 局 通信 。 遗 传 算法 的 作用 是 去 发 现 局 部 细胞 规则 ， 这 个 规则 的 效果 是 完成 跨越 “大 型 ” 空 
间 -时 间距 离 的 信息 处 理 。Cmtchfield-Mitchell 使 用 多 个 取 自 形式 语言 理论 的 想法 来 刻画 空 
间 - 时 间 模 式 。 

对 于 Crutchfield 和 Mitchell ， 进 化 自动 机 的 结果 反映 了 一 个 完全 新 层次 的 行为 ， 它 是 与 分 布 
的 细胞 之 间 低 层次 的 相互 作用 不 同 的 。 全 局 的 基于 粒子 的 相互 作用 显示 了 在 简单 的 个 体 行为 集 
合 中 会 出 现 多 么 复杂 的 协调 性 。 作 用 在 局 部 细胞 规则 上 的 遗传 算法 结果 表明 一 个 进化 过 程 怎样 
产生 新 层次 的 行为 ， 精 巧 的 平衡 对 于 涌现 计算 的 有 效 性 是 必要 的 。 

Crutchfield 和 Mitchell 的 研究 成 果 是 很 重要 的 ， 在 遗传 算法 的 支持 下 ， 他 们 演示 了 在 细胞 自 
动机 间 高 层次 的 不 变性 的 涌现 。 更 进一步 ， 他 们 根据 形式 语言 理论 进行 改写 ， 提 出 了 计算 工具 ， 
它 能 用 于 描述 这 种 不 变性 。 更 进一步 的 研究 可 去 阐述 复杂 性 的 涌现 : 生命 物体 特征 的 定义 和 理 
解 心智 、 物 种 、 生 态 系统 起 源 的 基础 。 


12. 4 结语 和 参考 文献 


遗传 算法 和 基于 生物 学 习 的 研究 是 从 John Holland 的 遗传 算法 设计 开始 的 。 他 的 早期 研究 包 
括 :《Adaptation in Natural and Artificial Systems》 (1975 ) 、 一 个 关于 自我 复制 系统 涌现 现象 的 研 
究 (1976) 和 介绍 分 类 器 的 《Escaping Brittleness: The possibilities of general purpose learning algo- 
rithms applied to parallel rule-based systems》 (1986 ) 。 遗 传 系 统 分 析 方 面 工 作 的 例子 可 从 Forrest 和 
Mitchell (Forrest 1990 ，Mitchell 1996 ，Forrest and Mitchell 1993a，1993b) 中 找到 。 其 他 研究 者 ， 
尤其 是 Goldberg (1989) 、Mitchell (1996) 和 Koza (1992，1994) 继续 了 在 遗传 算法 和 学 习 形 式 
分 析 方 面 的 工作 。 | 
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前 面 提 到 过 ，Holland (1986) 对 分 类 器 系统 的 设计 也 做 出 过 贡献 。 分 类 器 创立 了 一 个 宏观 
或 完整 系统 的 学 习 视 角 。 另 外 一 个 类 似 的 观点 在 SOAR 项 目 中 有 所 体现 (Laird et al. 1986a, 
1986b; Rosenbloom and Newell 1987 ; Rosenbloom et al. 1993 ) 。 

很 多 热门 书籍 ， 包 括 James Gleick (1987) 写 的 《Chaos》, 已 经 建立 了 涌现 和 混沌 系统 的 重 
要 性 。 这 些 系统 中 的 概念 (例如 ， 奇 怪 的 吸引 子 ) 已 经 成 为 连接 体系 结构 的 一 部 分 了 ( 见 第 1 
章 )。 

John Koza 是 遗传 程序 设计 的 研究 领域 的 莫 基 者 。 他 的 主要 贡献 体现 在 : 《 Genetic Program- 
ming: On the programming of computers by means of natural selection》 (1992) 和 《Genetic Program- 
ming Il: Automatic discovery of reusable programs》(1994)。 在 12.2.2 节 中 用 遗传 程序 设计 学 习 开 
普 勒 第 三 定律 的 例子 是 由 Mitchell (1996) 提出 的 。 

生命 游戏 最 早 由 数学 家 John Horton Conway 提出 ， 但 是 Martin Gardner 在 《 Scientific Ameri- 
can》 (1970，1971) 中 提出 讨论 后 ， 它 才 名 声 远扬 。 有 限 状 态 自动 机 的 计算 能 力 的 研究 可 追溯 
到 第 一 台数 字 计 算 机 的 设计 。John von Neumann 在 这 一 领域 非常 活跃 ， 实 际 上 ， 也 是 他 第 一 个 证 
明了 有 限 状态 自动 机 有 和 图 灵机 一 样 的 计算 能 力 。von Neumann 的 很 多 早期 研究 可 见 Arthur Burks 
(1966，1970，1987) 的 著作 。 其 他 的 研究 者 (Hightower 1992 ，Koza 1992) 描述 了 人 工 生 命 研 究 
怎样 从 早期 的 有 限 状 态 自 动机 的 工作 取得 进展 。 研 究 人 工 生命 的 其 他 研究 者 包括 : Langton 
(1986) 、Ackley 与 Littmann (1992 ) 。 早 期 人 工 生命 会 议 的 论文 集 都 由 Langton (1989，1990) 
编 录 。 

Dennett 著 有 《Darwins Dangerous Ideas》 (1995) 和 《Sweet Dreams》 (2006 ) ， 他 和 其 他 的 后 
学 家 从 哲学 思想 角度 阐述 了 一 些 进化 概念 的 重要 性 。 另 外 我 们 推荐 《Full House: The Spread of 
Excellence from Plato to Darwin》 (Gould 1996 ) 。 

除了 12. 3 节 简 要 介绍 的 主体 研究 (Brooks 1986，1987，1991a，1991b; Nilsson 1994 ; Benson 
and Nilsson 1995 ) ， 这 个 领域 还 有 其 他 项 目 ， 包 括 Maes (1989，1990) 在 行为 网 络 中 伸展 激活 的 
模型 ， 以 及 Hayes-Roth 等 (1993) 的 黑板 体系 结构 的 扩展 。AAAI、UCAI 和 人 工 生命 会 议 的 会 议 
记录 包括 这 个 重要 研究 领域 的 很 多 论文 。Crutchfield 和 Mitehell (1995) 支持 我 们 在 12.3.3 节 的 
描述 。 
12.5 习题 


1. 遗传 算法 试图 支持 搜索 时 的 遗传 多 样 性 ， 同 时 又 要 保持 重要 特征 (用 遗传 模式 表示 ) 的 存活 ， 描 述 一 种 
不 同 的 遗传 算 子 ， 它 同时 支持 这 两 个 目标 。 

2. 讨论 为 了 搜索 不 同 域 中 的 解 时 ， 遗 传 算 子 的 表示 设计 问题 。 归 纳 偏 置 在 这 里 的 作用 是 什么 ? 

3. 考虑 12. 1. 1 节 中 的 CNF - 可 满足 性 问题 。CNF 中 的 析 取 的 数目 在 解 空间 中 有 什么 样 的 影响 ? 考虑 其 他 
的 表示 方法 和 遗传 算 子 。 你 能 设计 出 其 他 适应 度 吗 ? 

4. 设计 遗传 算法 解决 CNF - 可 满足 性 问题 。 

5. 考虑 12.1. 1 节 中 的 巡回 推销 员 问 题 。 讨 论 这 个 问题 的 合适 编码 问题 ， 并 设计 针对 这 个 问题 的 其 他 合适 
的 遗传 算 子 和 适应 度 度量 。 

6. 构建 一 个 遗传 算法 搜索 巡回 推销 员 问 题 的 解 。 

7. 论 类 似 于 葛 莱 编码 的 编码 技术 在 改造 遗传 算法 搜索 空间 中 的 作用 。 描 述 两 个 其 他 的 问题 域 ， 类 似 的 编码 
技术 在 其 中 是 很 重要 的 。 

8. 阅读 Holland 的 表示 模式 理论 ( Mitchell 1996 ，Koza 1992 ) 。 考 虑 Holland 的 表示 模式 理论 是 怎样 描述 遗 
传 算法 解 空间 的 进化 的 ? 为 什么 必须 说 问题 不 能 用 位 串 编码 ? 

9. 桶 链 算法 〈Holland 1986) 是 怎样 与 反 传 算法 关联 的 〈 见 14.3 节 )? 


376 和 另 四 部 分 机 器 学 飞 





" 用 12.2.2 节 描述 的 基本 的 编码 方法 写 一 个 程序 来 解决 开 普 勒 第 三 定律 的 运动 问题 。 
. 讨论 在 用 遗传 算法 进行 程序 设计 来 解决 问题 时 的 约束 ( 见 12.2.2 节 ) 。 例如 ， 解 中 的 什么 成 分 不 能 用 


遗传 程序 设计 范例 进化 ? 


. 读 《Scientific American》 (1970，1971) 中 Gardner 专栏 里 关于 生命 游戏 的 早期 讨论 ， 并 讨论 其 他 的 类 


似 于 12. 3. 1 节 中 的 滑行 器 的 人 工 生命 结构 。 


- 写 一 个 人 工 生命 程序 ， 实 现 图 12-10 到 图 12-13 中 的 功能 。 
. 在 12.3 节 中 介绍 了 基于 主体 研究 领域 ， 建议 对 这 个 课题 更 深 一 步 了 解 ， 尤 其 是 Brooks 、Nilsson 和 Ben- 


son 或 Crutchfield 和 Mitchell 的 研究 。 请 从 中 选择 一 个 主题 写 一 篇 短 论文 。 


.讨论 第 12 章 中 ， 学 习 模型 的 归纳 偏 置 方 法 在 表示 、 搜 索 策 略 和 算 子 中 的 作用 ， 讨论 这 个 问题 是 否 是 可 


解 的 ? 也 就 是 说 ， 遗 传 学 习 能 工作 是 不 是 因为 它 的 典型 假设 ? 还 有 ， 它 能 否 应 用 于 更 广泛 的 领域 ? 


- 阅读 和 讨论 《Darwin Dangerous Idea》 (Dennett 1995) 或 者 《Full House: The Spread of Excellence from 


Plato to Darwin》 (Could 1996) ， 以 便 进 一 步 了 解 进化 和 复杂 人 性 涌现 。 


第 13 章 机 器 学 习 : 概率 理论 


概率 论 就 是 化 为 计算 的 判断 力 …… 
——LaPlace 


计算 的 目的 是 深刻 理解 ， 并 非 是 计数 …… 





Richard Hamming 


13.0 学 习 中 的 随机 模型 和 动态 模型 


正如 前 面 的 章节 所 述 ， 使 用 概率 工具 来 理解 和 预测 现实 中 的 现象 有 两 个 主要 原因 : 其 一 ， 事 
件 之 间 确 定 具 有 概率 关联 关系 ; 其 二 ， 在 变化 的 世界 中 ,情况 间 确 定性 因果 关系 可 能 很 复杂 ， 因 
而 它们 之 间 的 相互 作用 最 好 通过 随机 模型 处 理 。 根 据 以 上 两 点 ， 人 工 智 能 (AI) 领域 采用 概率 
模型 ， 并 且 ， 随 机 技术 在 机 器 学 习 算法 的 设计 、 能 力 和 灵活 性 上 产生 了 深远 的 影响 。 

在 5.3 节 中 首次 阐述 的 贝 叶 斯 规则 是 机 器 学 习 概 率 模型 的 基础 。 贝 叶 斯 方法 是 基于 先前 学 习 
到 的 关系 来 对 新 经 验 加 以 解释 : 它 把 对 当前 事件 的 理解 看 作 一 个 从 先前 事件 中 学 习 得 到 的 期 望 
的 函数 。 同 样 ， 马 可 尔 夫 模型 及 其 变形 给 随机 学 习 方 法 提供 了 数学 基础 。 在 马尔 可 夫 链 中 ， 事 件 
在 任何 时 间 点 的 发 生 概 率 是 一 个 关于 该 点 之 前 时 刻 发 生 的 事件 概率 函数 。 在 9.3 节 介绍 的 一 阶 马 
尔 可 夫 链 中 ， 时 间 点 t 的 事件 发 生 概 率 是 它 之 前 的 t-1 时 刻 事 件 概率 的 函数 。 

第 13 章 包 含 三 节 : 13. 1 节 继 续 阐述 马尔 可 夫 模 型 ， 介 绍 隐 马尔 可 夫 模 型 (HMM) 及 马尔 可 
夫 模 型 的 几 个 重要 变形 和 扩展 。13.2 节 对 9.3 节 中 的 贝 叶 斯 网 络 进行 了 扩展 ， 集 中 介绍 了 动态 
贝 叶 斯 网 络 (DBN) 及 其 若干 扩展 。13. 3 节 是 10.7 节 关 于 强化 学 习 的 后 续 ， 并 且 为 强化 引 人 了 
概率 化 度量 。 


13. 1 隐 马 尔 可 夫 模 型 (HMM) 


在 20 世纪 初 ， 俄 国 数学 家 马尔 可 夫 (Andrey Markov) 就 提出 了 一 种 用 于 对 概率 相关 的 离散 
事件 进行 建 模 的 数学 方法 。 与 当 计算 机 执行 一 系列 固定 的 指令 集 时 ， 人 们 期 待 看 到 的 确定 序列 
事件 的 情形 相 比 ， 马 尔 可 夫 的 形式 方法 支持 这 样 一 种 观点 ， 即 每 一 个 事件 与 它 之 前 发 生 的 事件 
是 概率 相关 的 ， 就 像 音素 模型 或 口语 中 的 单词 。 在 计算 机 通过 程序 学 习 变 化 世界 中 的 现象 的 党 
试 中 ， 马 尔 可 夫 的 观点 被 证 明 是 极为 重要 的 。 


13. 1.1 隐 马 尔 可 夫 模 型 的 介绍 和 定义 


隆 马 尔 可 夫 模 型 是 9.3 节 中 介绍 的 传统 马尔 可 夫 链 (或 马尔 可 夫 过 程 ) 的 一 般 化 形式 。 传 
统 马尔 可 夫 链 中 的 每 一 个 状态 都 对 应 一 个 离散 的 物理 上 可 观测 的 事件 ， 例 如 一 天 中 某 个 时 刻 的 
天 气 。 但 是 ， 这 类 模型 有 很 多 限制 条 件 ， 现 在 我 们 把 它 推广 到 更 加 广泛 的 一 类 问题 上 。 在 这 一 节 
中 ,我 们 把 传统 马尔 可 夫 模 型 扩展 到 观察 数据 当前 隐藏 状态 本 身 的 概率 函数 。 所 以 ， 这 个 被 称 为 
隐 马 尔 可 夫 模 型 的 模型 是 一 个 双重 岩 和 的 随机 过 程 。 

隐 马 尔 可 夫 模 型 可 以 描述 为 由 一 个 不 可 观测 的 、 隐 含 的 随机 过 程 支 持 的 可 观测 的 随机 过 程 。 
使 用 HMM 的 一 个 例子 就 是 通过 对 有 噪声 的 声学 信号 的 解释 来 实现 单词 识别 的 计算 机 。 语 音 模型 
本 身 〈 即 说 话 者 想 要 使 用 的 语言 中 产生 特定 单词 的 一 部 分 音素 ) 构成 了 马尔 可 夫 模 型 的 隐 含 层 
次 。 这 些 观察 数据 ， 即 所 听 到 的 有 了 噪声 的 声学 信和 号 是 这 些 可 能 音素 的 随机 函数 。 这 个 说 话 者 使 用 
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音素 只 能 通过 噪声 声学 信号 的 顶层 〈 可 观察 ) 流 被 随机 地 观察 到 。 如 下 定义 一 个 HMM: 


定义 〔 隐 马尔 可 夫 模 型 ) ”一 个 图 模型 被 称 作 隐 马 尔 可 夫 模 型 ， 如 果 一 个 马尔 可 夫 模 型 的 
状态 是 隐藏 的 且 不 能 直接 观察 ， 并 通过 另外 的 随机 系统 解释 它 的 输出 ， 那 么 这 个 模型 就 称 为 隐 
马尔 可 夫 模 型 。 更 形式 化 的 定义 是 ， 给 定 一 个 状态 集合 S = si, ss，…,Sn， 以 及 一 个 状态 转换 概 
率 集 合 A=aialz， ain B21 acz anmn, 得 到 观测 的 似 然 值 的 集合 OO =pi(01) ， 集 合 中 的 每 
一 个 元 素 表示 在 观察 ol( 时 间 寻 由 状态 St 产生 的 概率 。 


现 给 出 改编 自 Rabiner (1989) 的 HMM 的 两 个 例子 。 首 先 ， 考 虑 抛 硬 币 的 情形 。 假 设 一 个 
人 在 房间 里 抛 硬币 ， 我 们 不 知道 在 房间 中 发 生 的 情况 。 这 个 人 可 能 每 次 只 抛 一 个 硬币 ， 也 可 能 从 
很 多 个 硬币 中 随机 选择 几 个 抛 ， 每 一 个 硬币 都 可 能 有 自己 的 偏 置 输出 ， 即 出 现 两 面 的 概率 不 等 。 
我 们 在 房间 外 面 所 能 观察 到 的 是 一 系列 抛 硬 币 的 结果 ， 例 如 ， 观 察 到 O =H,H, TH TH,…。 
我 们 的 任务 就 是 设计 一 个 模型 ， 它 可 以 产生 房间 里 抛 硬币 的 观测 结果 。 

在 给 定 的 情形 下 ， 尝 试 给 从 房间 里 传 出 的 观测 结果 集 建 模 。 从 一 个 简单 模型 开始 ， 假 设 只 抛 
一 枚 硬币。 在 这 种 情况 下 ， 只 需要 确定 这 枚 硬币 的 偏 置 以 及 在 抛 硬币 时 产生 的 头 / 尾 观测 集 即 可 。 
这 就 得 到 了 可 直接 观测 ( 零 阶 ) 马尔 可 夫 模 型 ， 它 只 是 一 个 伯 努 利 (Bernouli) 实验 的 集合 。33 
际 上 ， 这 个 模型 可 能 过 于 简单 ， 而 不 能 够 可 靠 地 捕获 抛 多 枚 硬币 的 情形 。 

接 下 来 考虑 两 个 硬币 的 模型 ， 有 两 个 隐 含 的 状态 s 和 ss ， 如 图 13-1 所 示 。 得 到 一 个 概率 转换 
矩阵 A， 该 矩阵 用 于 控制 系统 在 任意 时 刻 的 状态 〈 即 抛 出 了 哪 枚 硬币 ) 。 每 个 硬币 有 不 同 的 HAT 偏 
置 b 和 bs,。 假 设 观 测 到 的 抛 硬币 产生 的 串 : 0 =H, TT, H,T， H, H, H,T,T,H。 这 个 观测 集 可 以 
用 以 下 的 状态 转换 路 径 进行 解释 (如 图 13-1 所 示 ) : Sa, Si, Si, Sa, S2, S, Si, Sa, So S1, So。 


a12= 1 - a11 
“a sn 
p(H) = b1 p(H) = b> 
p(T)= 1-b’ p(T)=1-b2 


图 13-1 描述 抛 硬币 问题 的 隐 马 尔 可 夫 模 型 的 状态 转换 图 
注 : ay 的 值 由 2 x2 转换 矩阵 A 的 元 素 确定 


第 三 个 模型 如 图 13-2 所 示 ， 使 用 三 个 状态 (三 枚 硬币 ) 解释 抛 硬币 的 结果 。 每 个 硬币 的 状 
态 还 是 s,， 并 都 有 自己 的 偏 置 bl ， 系 统 的 状态 〈 抛 出 了 哪 枚 硬币 ) 是 一 些 诸如 掷 侦 子 这 样 的 概 
率 事件 和 转换 矩阵 A 的 函数 。 此 三 状态 机 能 对 状态 序列 ss, $1, se, $s, sa, S1, $1, sa, Ss St ss 进行 
解释 。 

抛 硬币 问题 的 难题 是 选择 一 个 最 佳 模 型 。 最 简单 的 模型 有 1 个 参数 ， 是 单个 硬币 的 偏 置 。 两 
个 状态 的 模型 有 4 个 参数 ， 是 状态 转换 矩阵 和 每 枚 硬币 的 偏 置 。 三 个 状态 的 模型 有 9 个 参数 ， 如 
图 13-2 所 示 。 自 由 度 越 大 的 大 模型 越 有 能 力 表示 一 个 〈 可 能 ) 更 复杂 的 情形 。 尽 管 如 此 ， 给 大 
模型 确定 参数 的 复杂 性 问题 对 应 用 来 说 是 需要 考虑 的 。 例 如 ， 在 一 个 简单 模型 下 产生 的 真实 观 
测 值 情形 下 ， 大 模型 可 能 就 不 正确 ， 在 特定 情况 下 ， 需 要 更 多 的 数据 来 建立 不 同 级 别 可 信 度 。 类 
似 的 问题 ， 如 过 拟 会 ， 也 会 给 小 模型 造成 困难 。 最 后 ， 每 个 模型 都 有 一 个 隐 含 不 交 的 假设 ， 即 系 
统 的 转换 和 偏 置 概率 不 随时 间 的 改变 而 改变 。 
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p(H) = b> 
p(H) = b> 







p(H)= b1 
p(T)=1-b: 





a31 


图 13-2 ”描述 抛 硬 币 问 题 的 三 状态 隐 马 尔 可 夫 模 型 的 状态 转换 图 。 
注 : Si 是 每 一 个 硬币 /状态 ，b, 是 相应 的 偏 置 


男 一 个 例子 ， 考 虚 N 个 容器 的 问题 ， 每 一 个 容器 包含 M 个 不 同 颜色 的 球 。 获 得 观测 值 的 物 
理 过 程 是 根据 某 一 随机 过 程 从 N 个 容器 中 挑 出 一 个 。 一 旦 选 定 一 个 容器 ， 就 拿 出 一 个 球 ， 并 且 
在 输出 序列 中 记录 这 个 球 的 颜色 。 然 后 将 这 个 球 放 回 ， 根 据 与 当前 容器 关联 的 随机 过 程 来 选择 
下 一 个 (也许 是 同一 个 ) 容器 继续 该 过 程 。 这 个 过 程 将 产生 包含 球 的 颜色 的 一 个 观测 序列 。 很 
明显 ， 与 该 过 程 对 应 的 一 个 最 简单 的 HMM 模型 是 ， 模 型 中 的 每 一 个 状态 对 应 一 个 特定 的 容器 ， 
用 状态 转换 和 矩阵 表示 对 下 一 个 状态 的 选择 。 最 后 ,该 模型 中 球 颜色 的 概率 被 定义 为 每 个 状态 
(容器 ) 的 球 的 颜色 和 数量 。 但 是 ， 除 非 模 型 有 先 验 知识 ， 否 则 通过 确定 所 有 参数 来 选取 最 优 的 
HMM 是 一 项 艰巨 任务 。 

下 一 节 将 介绍 几 个 隐 马 尔 可 夫 模 型 的 变形 。 


13. 1.2 隐 马 尔 可 夫 模 型 的 重要 变形 


在 上 一 节 ， 已 经 说 明了 隐 马 尔 可 夫 模 型 是 一 个 简单 且 能 有 力 地 表达 不 确定 问题 的 模型 。 目 
前 所 能 看 到 的 HMM 的 计算 简单 性 遵循 了 一 阶 系统 的 马尔 可 夫 原 则 ; 当前 状态 只 依赖 于 前 一 个 状 
态 。 为 了 使 模型 更 富有 表达 能 力 ， 在 这 一 节 将 给 出 一 个 改进 的 隐 马 尔 可 夫 模 型 。 由 于 13. 1.1 节 
给 出 的 常规 隐 马 尔 可 夫 模 型 在 特定 情况 下 会 受到 一 些 限制 ， 因 此 在 这 一 节 介绍 几 种 能 够 解决 这 
些 限 制 的 隐 马 尔 可 夫 模 型 的 变形 。 

一 个 被 广泛 使 用 的 扩展 的 隐 马 尔 可 夫 模 型 称 为 自 回 归隐 马尔 可 夫 模 型 ， 在 该 模型 中 ， 之 前 
的 观测 能 够 影响 当前 的 观测 值 ， 这 个 扩展 模型 用 于 从 过 去 获得 更 多 的 信息 ， 并 且 把 这 些 信息 引 
入 对 当前 状态 的 解释 中 。 为 了 对 由 一 系列 简单 子 过 程 构成 的 复杂 过 程 进 行 建 模 ， 通 常 采用 因子 
化 的 HMM。 另 一 个 隐 马 尔 可 夫 模 曹 的 扩展 是 层次 化 的 隐 轧 尔 可 夫 模 型 《HHMM)， 该 模型 假设 
一 个 系统 的 每 一 个 状态 本 身 是 一 个 隐 马 尔 可 夫 模 型 。 下 面 详细 介绍 隐 马 尔 可 夫 模 型 的 这 些 扩 展 。 


自 回归 隐 马 尔 可 夫 模 型 (AR-HMM) . 

在 隐 马 尔 可 夫 模 型 一 阶 特性 中 ， 假 设 当 前 状态 只 依赖 于 前 一 个 状态 ， 并 且 已 观测 到 的 变量 
是 无 关联 的 。 这 是 一 个 局 限 ， 因 为 当前 状态 不 能 充分 捕获 前 面 状 态 所 获得 的 信息 。 例 如 在 诊断 推 
理 中 ， 这 会 导致 比较 差 的 泛 化 能 力 ， 特 别 是 给 时 间 序 列 数据 建 模 时 。 实 际 上 ， 在 复杂 的 环境 中 ， 
一 个 时 间 段 的 观测 值 经 常 与 后 续 观 测 值 相关 ， 而 这 必须 分 解 成 HMM 的 结构 。 

我 们 克服 这 方面 受 限 的 一 般 化 的 方法 是 ， 在 考虑 一 般 的 隐 马 尔 可 夫 模 型 前 一 个 状态 影响 的 
情况 下 ， 人 允许 以 前 观测 影响 对 当前 观测 值 的 解释 。 这 个 隐 马 尔 可 夫 模 型 被 称 为 自 同 归隐 马尔 可 
夫 模 型 ， 该 辐射 模型 (emission model) 被 定义 为 非 零 概率 模型 


p( O, | S, O11) 
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其 中 O 是 辐射 状态 或 者 观测 值 ，S 代表 隐 含 层 ， 如 图 13-3a 所 示 。 传 统 的 隐 马 尔 可 夫 模 型 与 AR- 
HMM 的 区 别 是 O, ,和 O, 存在 链接 (影响 ) ， 建 立 这 个 影响 的 动机 是 一 目 了 然 的 ， 因 为 一 个 时 间 
段 观测 是 下 一 个 观测 结果 的 预示 。 换 句 话说 ， 时 间 序 列 分 析 观测 到 的 输出 值 能 够 根据 一 些 基 本 


分 布 改变 。 














0 0 
a) b) 
图 13-3 a) p(Q,1 S\,，Q,_1) 时 的 AR-HMM，S 是 隐藏 状态 ，0 是 可 观察 状态 
b) AR-HMM 例子 中 隐藏 状态 S 的 值 : 安全 、 不 安全 和 故障 


AR-HMM 通常 比 普通 的 HMM 收敛 到 更 高 的 似 然 值 ， 特 别 是 给 极其 复杂 的 有 噪声 时 间 序列 建 
模 时 。 我 们 将 用 一 个 改编 自 Chakrabari 等 (2007) 工作 的 例子 来 说 明 AR-HMM。 这 个 模型 用 于 监 
测 直 升 机 旋 辟 系统 的 运行 健康 情况 。 图 13-4 描述 了 从 运行 系统 中 得 到 的 一 个 数据 样本 。 这 些 数 
据 是 几 个 传感器 的 输出 ， 包 含 来 自 多 个 部 件 的 热量 和 振动 度量 的 信息 。 图 13-5 显示 了 图 13-4 的 
使 用 快速 传 里 叶 变换 (FFT) 的 数据 处 理 结果 ， 这 样 能 够 生成 在 频 域 上 的 等 价 数据 ， 然 后 使 用 这 
些 数据 训练 一 个 AR-HMM。 如 图 13-3 所 示 ， 隐 合 结 点 S, 的 三 个 状态 是 安全 、 不 安全 和 故障 。 


1.5, 
























一 - 避 -二 SO 局- 专 了 
13-5 图 13-4 中 时 间 序 列 数据 的 快速 傅 里 叶 变 换 后 频 域 信息 
是 每 个 时 间 周 期 发 送 给 AR-HMM 的 数据 


这 个 项 目的 目的 是 在 机 械 系统 中 研究 故障 监测 和 诊断 的 技术 。 通 过 使 用 来 自传 感 器 监测 机 
制 过 程 的 一 系列 时 间 数 据 来 建立 一 个 整个 过 程 的 量化 模型 ， 并 且 在 数据 集 ( 诸 如 断 桨 这 样 的 故 
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障 ) 上 训练 这 个 模型 ， 用 于 以 后 的 实时 诊断 和 未 来 故障 预测 。 训 练 完 AR-HMM 后 ， 这 个 模型 被 
应 用 到 实时 中 。 虽 然 报 告 的 精确 性 〈Chakrabari et al. 2006) 只 有 75% ， 但 如 何 设计 这 些 预测 工 
具 也 是 很 重要 的 。 


因子 化 的 HMM 

在 之 前 讨论 到 的 HMM 和 它 的 变形 中 ， 我 们 描述 了 状态 空间 被 部 分 隐藏 的 系统 ， 我 们 只 能 通 
过 观测 到 的 序列 得 到 状态 空间 的 线索 ， 并 且 尝 试 使 用 从 观测 到 的 系统 产生 的 数据 序列 信息 来 推 
测 基本 的 隐藏 状态 。 

但 是 如 果 洪 在 的 过 程 很 复杂 并 且 不 能 用 简单 的 状态 集 来 有 效 地 表示 ， 那 将 会 发 生 什么 ? 如 
果 潜 在 过 程 是 由 几 个 子 过 程 的 结合 而 成 ， 将 会 发 生 什 么 ?常规 的 HMM 不 能 有 效 地 获得 这 些 状 态 
中 的 过 程 信息 ， 需 要 一 个 更 丰富 的 模型 表示 更 复杂 的 情形 。 

因子 化 HMM 是 一 个 可 能 的 解决 方法 。 图 13-6 给 出 了 一 个 自 回归 因子 化 HMM。 可 以 看 出 ， 一 
个 基本 过 程 被 分 成 n 个 子 过 程 ， 这 mn 个 过 程 的 每 一 个 过 程 都 对 当前 观测 值 D, 产生 影响 。 此 外 ， 每 
个 子 过 程 也 遵循 一 阶 马 尔 可 夫 特 性 ， 即 当前 的 状态 只 依赖 于 之 前 的 一 个 状态 。 与 可 观测 到 随机 变量 
的 关系 可 以 用 条 件 概率 分 布 (CPD) 定义 : 


P(O, | O41 , si, St， 四 SI) 


层次 化 的 HMM ({ HHMM ) 

层次 化 的 HMM 用 于 给 极其 复杂 的 系统 建 模 。 
在 该 种 模型 中 每 个 状态 都 被 看 作 是 一 个 自 包含 的 
概率 模型 。 更 精确 地 说 ，HHMM 的 每 个 状态 自身 
是 一 个 HHMM。 这 暗示 着 HHMM 的 状态 产生 的 
Map 而 是 标准 的 HMM 和 状态 0 在 时 间 t 依 粮 于 复合 (S,) 于 

当 到 达 HHMM 中 的 一 个 状态 时 ， 它 能 够 激活 过 程 St 和 0 
自己 的 概率 模型 ， 即 能 够 激活 一 个 基本 的 HHMM 状态 ,而 这 个 状态 又 能 够 激活 自己 的 潜在 
HHMM， 等 等 ， 基 本 情形 是 传统 的 HMM。 这 个 过 程 被 重复 ， 直 到 到 达 一 个 生成 状态 。 从 通常 HMM 
角度 来 说 ， 只 有 产生 状态 可 发 射 可 观测 符号 。 当 生成 状态 发 出 一 个 符号 时 ， 控 制 回 到 激活 生成 状态 
的 状态 。 这 个 不 能 直接 发 出 观测 符号 的 状态 称 为 内 部 状态 。 在 HHMM 的 一 个 内 部 状态 下 ， 激 活 一 
个 状态 被 称 为 本 直 转换 。 在 一 个 垂直 转换 后 是 一 个 完全 发 生 在 同一 层次 的 水 平 转换 。 当 一 个 水 平 转 
换 导致 一 个 终止 状态 时 ， 控 制 回 到 在 HHMM 中 更 高 层次 的 状态 ， 这 个 状态 生成 最 后 一 个 垂直 转换 。 

值得 注意 的 是 ， 在 到 达 生成 状态 的 序列 和 最 终 回 到 最 顶层 之 前 ， 一 个 垂直 转换 能 够 导致 更 多 的 
垂直 转换 。 所 以 ， 到 达 生 成 状态 产生 一 个 观测 符号 的 序列 ， 该 符号 由 这 个 状态 在 最 顶层 产生 。 


n-gram HMM 
正如 先前 提 到 的 ， 在 传统 的 一 阶 马尔 可 夫 模 型 中 ， 当 前 状态 只 依赖 于 前 一 个 状态 而 独立 于 
所 有 更 往 前 的 状态 。 在 这 种 情况 下 ， 虽 然 使 用 马尔 可 夫 过 程 的 规则 降低 了 计算 复杂 性 ， 但 仅 用 前 
一 个 状态 很 可 能 不 能 完全 获得 问题 域 中 能 够 得 到 的 信息 。 我 们 将 详细 地 阐述 n-gram 隐 马 尔 可 夫 
模型 (或 n-gram HMM)。 这 些 模 型 对 于 将 在 15. 4 节 中 详细 介绍 的 自然 语言 理解 的 随机 模型 是 很 
重要 的 ， 特 别 是 在 2-gram 和 3-gram 形式 上 。 
”根据 2-gram 马尔 可 夫 模 型 ， 当 前 状态 的 解释 依赖 前 一 个 状态 的 解释 ， 如 P(O, 1 O,,); 等 
价 于 传统 的 一 阶 马 尔 可 夫 链 。 即 使 一 阶 马 尔 可 夫 假 设 很 明显 ， 考 察 2-gram 的 处 理 手段 也 是 很 有 
意义 的 。 例 如 ， 在 自然 语言 理解 中 ， 对 于 单词 或 音素 识别 。 假 设 在 给 定 先前 单词 的 序列 的 情况 








pe 


图 13-6 一 个 自 回归 的 分 层 HMM， 其 中 可 观察 
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下 ， 当 只 使 用 前 一 个 单词 的 解释 时 ， 一 个 特定 单词 的 发 生 概率 能 够 得 到 最 好 的 估计 。 因此 ， 与 不 
采用 先前 单词 信息 或 者 先前 单词 的 更 长 序列 的 知识 情况 相 比 ， 2-gram 能 够 得 到 更 好 的 结果 。 例 
如 ， 给 定 一 个 语言 数据 的 集合 ， 相 对 于 p(lamb | a little) .p(lamb | had a little) 或 者 p(lamb | 
Mary had a little) , p(lamb | litle) 对 当前 单词 lamb 有 比较 好 的 预测 。 

类 似 地 ，3-gram 模型 是 当前 观测 状态 只 依赖 于 前 两 个 状态 的 解释 的 马尔 可 夫 模 型 。 3-gram 被 
表示 成 P(O,1 OO,_。) 。 继 续 以 自然 语言 理解 为 例 ， 相 对 于 p(lamb | little) ， 或 者 包括 更 多 的 
前 面 的 单词 ， 如 p(lamb | Mary had a little) ，3-gram 模型 p(lamb | a litle) 是 对 当前 单词 lamb 的 
比较 好 的 预测 。 

n-gram 马尔 可 夫 模 型 扩展 成 任意 长 度 n， 直到 认为 能 够 捕捉 到 想 要 建 模 的 数据 中 存在 的 不 变 
性 。n-gram 马尔 可 夫 模 型 是 一 个 当前 状态 依赖 于 n-1 个 先前 状态 的 马尔 可 夫 链 。 

正如 将 在 第 15 章 进一步 看 到 的 ，n-gram 模型 特别 适合 在 语言 理解 或 其 他 语言 识别 任务 中 ， 
捕获 音素 、 音 节 和 单词 的 序列 信息 。n 的 值 根据 想 要 表示 的 域 的 期 望 复杂 度 来 设 定 ， 如 果 n 太 
小 ， 模 型 的 表达 能 力 相 对 较 弱 ， 会 失去 捕获 前 面 长 字符 串 的 预测 能 力 。 另 一 方面 ， 如 果 n 的 值 太 
大 ， 验 证 模型 的 计算 开销 会 很 高 甚至 无 法 计算 。 这 个 问题 的 主要 原因 是 ， 语 音 或 者 单词 结合 的 先 
验 期 望 来 自 收集 语言 现象 的 大 型 数据 库 (通常 是 组 合 数 据 集 ) ， 这 种 大 型 数据 库 也 被 称 为 语 料 
库 。 我 们 没有 充分 的 数据 来 验证 n 很 大 的 n-gram。 例 如 ， 我 们 可 能 没有 任何 p(lamb | Mary had 
a little) 的 信息 ， 而 有 很 多 p(iamb | little) 、p(lamb| a little) 或 者 p(lamb | the) 的 信息 。 上 典型 的 
例子 是 在 语音 或 者 文本 识别 任务 中 使 用 n 不 大 于 3 的 n-gram 模型 。 

还 有 很 多 我 们 没有 介绍 的 HMM 的 变形 ， 包 括 混合 存储 HMM ， 该 模型 使 用 多 个 低 阶 马尔 可 
夫 模 型 来 克服 问题 复杂 性 。 自 回归 HMM 的 进一步 扩展 被 称 为 隐藏 (buried) 马尔 可 夫 模 型 介 
许可 观测 结 点 之 间 的 非 线 性 依赖 。 输 入 -输出 HMM 把 输入 序列 映射 到 输出 序列 。 比 子 过 程 简单 
组 合 更 复杂 的 是 子 过 程 间 具有 相互 作用 ， 对 于 这 种 情况 ， 我 们 通常 使 用 厅 合 (coupled) HMM。 
隐 半 马尔 可 夫 模 型 一 般 化 HMM 来 避免 其 几何 衰退 效应 ， 它 通过 使 隐藏 的 状态 之 间 的 转换 概率 依 
赖 于 自 上 一 个 状态 转换 的 时 间 长 短 达 到 目的 ， 参 见 13.4 节 。 

下 一 节 应 用 2-gram HMM 技术 解释 英语 音素 组 合 问题 ， 并 且 给 出 采用 Viterbi 算法 的 动态 规划 
实现 HMM 搜索 。 


13. 1.3 使 用 HMM 和 Viterbi 解码 音素 串 


在 隐 马 尔 可 夫 模 型 的 最 后 一 节 给 出 一 个 HMM 技术 的 重要 应 用 : 在 自然 口语 中 识别 模式 ， 其 
中 假设 大 型 语言 语料库 支持 语音 组 合 的 000 一 一 一 本 (人 OD 
先 验 期 望 。 最 后 ， 使 用 4.1 节 中 介绍 的 
动态 规划 算法 实现 HMM 推理 。 用 动态 规 need 
划算 法 找到 后 验 字 符 串 的 最 大 概率 ， 这 0.00056 
通常 被 称 作 Viterbi 算法 。 

接 下 来 的 人 类 语音 模式 的 计算 分 析 
和 使 用 Viterbi 算法 来 解 杰 音 素 串 的 例子 oe 
改编 自 Jurafsky 和 Martin (2008 ) 。 概 率 
机 中 的 输入 是 一 个 语音 串 ， 或 者 基本 语 kN 一- 人) (及 
音 发 音 。 这 些 输入 来 自 口 语 中 的 声学 信 ”图 13-7 ”表示 相关 英语 单词 的 音素 集 的 概率 有 限 状 态 自动 
号 的 分 解 。 在 自动 语音 理解 中 ， 很 难 获 机 ， 反 映 了 出 现 的 下 一 个 单词 的 概率 ， 引 有 自 Ja- 
得 没有 歧义 的 串 的 声学 信和 号， 因此 语音 rafsky 和 Martin (2008) 
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信号 更 倾向 于 概率 化 地 解释 为 特定 的 语音 。 为 了 简化 HMM 过 程 的 Viterbi 算法 描述 ， 这 里 假设 信 
号 能 被 无 歧义 地 解释 。 

图 13-7 描述 了 单词 数据 库 的 片段 ， 并 通过 相似 性 把 组 成 声音 成 分 的 音素 集 关 联 起 来 。 虽 然 
由 neat.new .need 和 knee 组 成 的 单词 集 是 英语 词汇 中 的 一 小 部 分 ， 但 是 可 以 想象 与 它们 相关 的 
大 量 聚 集 可 以 支持 一 个 语音 理解 系统 。 图 13-7 是 一 个 概率 有 限 状 态 机 的 例子 ， 这 个 例子 最 早 在 
5. 3 节 中 介绍 过 。 假 设 语言 语料库 是 一 个 类 似 的 有 限 概率 状态 机 的 集合 ， 它 能 够 提供 不 同 可 能 语 
音 组 合 的 先 验 概率 度量 ， 并 且 最 后 把 这 些 语音 看 作 单 词 的 一 部 分 。 

分 析 的 目的 是 从 单词 数据 库 中 确定 能 够 最 好 地 表达 输入 的 声学 信号 的 英语 单词 。 这 要 求 使 
用 HMM 技术 ， 因 为 可 能 单词 的 表示 自身 是 随机 的 。 在 非 确 定 有 限 状 态 机 中 ， 如 图 13-7 所 示 ， 语 
音 串 给 了 我 们 一 个 解释 观测 集 。 假 设 观 测字 符 串 由 语音 中 的 #,n jy 、# 组 成 ， 其 中 # 表 未 声音 间 的 
中 断 暂 停 。 使 用 Viterbi 算法 可 以 看 出 哪 条 概率 有 限 状 态 机 路 径 能 最 好 地 获得 这 些 观 测 。 使 用 前 
向 模式 的 Viterbi 重复 地 找到 下 一 个 最 佳 的 状态 和 值 ， 并 且 设 置 一 个 指针 。 在 后 向 模式 中 ， 回 淹 
这 些 指针 以 获得 最 优 的 路 径 。 这 样 ，Viterbi 的 输出 是 一 个 状态 的 优化 路 径 ， 在 这 条 路 径 上 含有 该 
路 径 的 概率 。 

使 用 Viterbi 算法 搜索 的 每 个 状态 都 关联 一 个 值 。 在 时 间 t 状态 s; 的 值 为 viterbi[ s ,t 。 在 状 
态 机 中 ， 与 下 一 个 状态 si 关联 的 值 记 为 viterbi[ s,t+1] 。 下 一 状态 的 值 的 计算 方法 是 当前 状态 
的 值 viterbi[ si 是 乘 以 从 当前 状态 进入 到 下 一 个 状态 的 转换 概率 path[ s, s] ， 给 定 s,， 观 测 值 s 
的 概率 再 乘 以 p(si1 si) ， 其 中 p(si 1 si) 来 自己 知 的 英语 语言 中 发 生 的 语音 对 中 的 观测 似 然 值 ， 
则 转换 概率 path[ s, sj] 来 自 非 确定 有 限 状 态 机 。 

下 面 我 们 给 出 Viterbi 算法 的 伪 代 码 。 注 意 它 与 4.1 节 描 述 的 动态 规划 算法 的 相似 性 。 存 储 
的 数组 和 并 列 的 值 必须 和 迭代 超过 R 行 一 一 等 于 概率 有 限 状 态 机 中 (PFSM) 语音 的 个 数 加 2， 以 
控制 每 个 状态 再 加 上 开始 和 结束 状态 。 和 迭代 必须 超过 C 列 一 一 等 于 观测 值 的 个 数 加 2， 以 控制 空 
语音 # 的 使 用 。 这 些 列 描述 了 观察 时 间 序 列 数 并 且 每 个 状态 必须 连接 的 适当 观测 语音 ， 如 图 13-8 
所 示 。 


落 数 Viterbi( 观测 长 度 T, 概率 FSM) 
begin 
number: =FSM 的 状态 数 
建立 一 个 概率 矩阵 viterbi[ R=N +2,C=T+2]; 
viterbi[ 0, 0] :=1. 0; 
for 每 一 步 (观测 值 )t 从 0 到 T do 
for 每 一 个 状态 s 从 1=0 到 number do 
for 每 一 个 从 si 到 si 在 概率 FSM 转换 do 
begin 
new-count:= viterbi[ si, t] x path[ s, s】 xp[si, si] ; 
if( (viterbi[ si,t+1] =0) 或 者 (new-count > viterbi[ s,t+1] ) ) 
then 
begin 
viterbi[ s ,t+1] := new-count 
添加 back-pointer[ s,t+1] 到 back-pointer 列表 
end; 
end; 
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return viterbi[ R, C] ; 
return back-pointer 列表 
end 


0.00013 x0.S2 
0.00013 =0.000067 
2 paths (2 paths) 


need 1.0x0.00056 | 0.00056x 1.0 | 0.00056 x0.11 
0.00056 =0.00056 =0.00056 =0.000062 

2 paths (2 paths) 

new 1.0 1.0 x0.001 0.001 x0.36 0.00036x 1.0 
0.001 =0.001 =0.00036 =0.00036 

2 paths (2 paths 人 
knee 1.0 x0.000024 | 0.000024 x 1.0 | 0.000024x 1.0 
0.000024 =0.000024 =0.000024 =0.000024 

1 path 


图 13-8 图 13-7 中 几 个 路 径 的 Viterbi 算法 的 描述 ， 行 代表 在 Viterbi 中 每 个 输入 值 对 
应 的 单词 的 最 大 值 ， 引 自 Jurafsky 和 Martin (2008) 


图 13-8 改编 自 Jurafsky 和 Martin (2008) 提出 的 Viterbi 算法 ， 该 算法 处 理 图 13-7 中 的 概率 
有 限 状态 机 的 轨迹 以 及 语音 序列 #,n ,iy、# (观测 值 的 长 度 T=4)。 后 向 轨迹 连接 表示 了 通过 概率 
有 限 状 态 机 的 最 优 路 径 ， 这 条 路 径 描 述 了 观测 语音 串 的 最 近似 解释 是 单词 new。 

在 下 一 节 我 们 将 描述 另 一 个 图 模型 ， 一 个 一 般 化 的 马尔 可 夫 模 型 ， 也 被 称 为 动态 贝 叶 斯 网 
络 (或 DBN)。 


13. 2 动态 贝 叶 斯 网 络 和 学 习 


在 建 模 中 ， 我 们 常 遇 到 这 样 的 问题 ， 即 基本 过 程 最 好 用 一 个 状态 序列 描述 。 从 序列 的 过 程 中 
收集 的 数据 ， 常 用 数据 获得 的 时 间 标 记 或 者 文本 串 中 的 位 置 索 引 。 这 种 序列 性 的 依赖 是 确定 的 
或 随机 的 。 动 态 过 程 本 质 上 的 随机 性 要 求 模型 有 非 确定 性 建 模 的 能 力 。 

虽然 能 够 用 有 限 状态 机 (FSM， 见 3.1 节 ) 很 好 地 描述 大 多 数 确定 的 序列 ， 但 是 一 些 重要 的 
序列 可 以 是 任意 长 度 的 。 因 此 ， 在 任意 给 定时 刻 ， 当 各 自 的 状态 集中 的 状态 数量 和 状态 转换 的 数 
量 呈 指数 倍增 长 时 ， 给 每 个 实例 建 模 就 成 问题 了 。 所 以 ， 这 种 序列 的 概率 模型 使 模型 能 够 易于 处 
理 ， 同 时 能 够 捕获 序列 信息 。 

在 13. 2 节 中 ， 我 们 描述 图 模型 范围 下 介绍 的 两 种 不 同 的 学 习 : 结构 学 习 和 参数 学 习 。 我 们 
简要 介绍 结构 学 习 技术 ,包括 马尔 可 夫 链 蒙特 卡 罗 ( 或 者 MCMC) 采样 技术 ， 还 将 详细 说 明 参 
数学 习 中 流行 的 meta- 算 法 ， 即 期 望 最 大 化 〈 或 者 EM) 。 我 们 将 展示 称 为 Baum-Welch 的 一 个 递 
归 动态 规划 算法 是 怎样 用 于 DBM 和 HMM EM meta- 算 法 的 。 

在 13.3 节 中 。 我 们 通过 介绍 马尔 可 夫 决 策 过 程 (或 者 MDP) 和 部 分 被 观测 的 马尔 可 去 决策 
过 程 〈 或 POMDP) 解释 如 何 把 马尔 可 夫 模 型 用 于 决策 支持 。 然 后 我 们 介绍 强化 学 习 〈 在 10.7 节 
中 介绍 过 ) ， 并 在 其 中 补充 概率 状态 和 反馈 模型 。 最 后 ， 我 们 用 一 个 使 用 了 MDP 的 强化 学 习 方 法 
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设计 的 机 器 人 导航 系统 结束 本 章 。 
13. 2. 1 动态 贝 叶 斯 网 络 


在 9.3 节 中 ， 我 们 介绍 了 贝 叶 斯 信念 网 络 (BBN) ， 这 是 一 个 流行 的 被 成 功 地 用 于 概率 建 模 
的 形式 方法 。 但 是 ， 对 于 动态 或 序列 过 程 建 模 ，BBN 很 不 灵活 。 在 自然 语言 理解 和 实时 诊断 中 
BBN 无 法 用 于 对 时 间 序 列 进行 建 模 ， 其 中 包括 因果 过 程 以 及 经 常 出 现在 复杂 任务 中 的 关联 序列 
数据 。 这 个 问题 是 BBN 的 依赖 条 件 ， 总 是 假定 其 在 某 _ 时 刻 处 于 活动 状态 

虽然 我 们 把 细节 的 讨论 拖 到 这 一 章 ， 但 在 9.3 节 中 ,我 们 介绍 了 动态 贝 叶 斯 网 络 (或 
DBN) 。 简 单 地 说 ， 一 个 动态 的 有 时 也 被 称 为 时 序 的 贝 叶 斯 网 络 是 同一 类 贝 叶 斯 网 络 的 序列 ， 这 
个 贝 叶 斯 网 络 的 结 点 沿 (有 向 ) 时 间 行 进 方向 连接 。 动态 贝 叶 斯 网 络 是 随机 过 程 的 有 向 图 模型 
序列 。 它 们 是 流行 随机 工具 ， 如 隐 马 尔 可 夫 模型 和 线性 动态 系统 LDS) 的 一 般 化 扩展 ， 动 态 贝 
叶 斯 网 络 把 隐 (和 被 观测 ) 状态 表示 为 状态 变量 ， 在 时 间 区 间 上 有 复杂 的 相互 依赖 关系 。 这 个 
图 结构 提供 了 描述 条 件 依赖 的 方法 ， 因 此 提供 了 紧密 的 参数 化 模型 。 

在 不 随时 间 变化 的 静态 假设 意义 上 ， 组 成 DBN 的 各 个 BN 不 是 动态 的 ， 但 DBN 支持 动态 模 
型 的 建 模 。 所 以 DBN 可 以 在 定义 的 参数 时 不 变 的 假设 下 工作 。 但 是 ， 正如 我 们 看 到 的 ， 隐 藏 的 
结 点 能 够 被 加 入 并 表示 在 当前 操作 的 条 件 下 ， 建 立 混合 模型 ， 捕 获 时 间 维 上 的 周期 变化 。 

在 每 个 时 间 段 〈 片 ) ， 一 个 DBN 类 似 于 含有 N, 个 表示 隐 状 态 的 随机 变量 集合 Q, 和 N, 个 表 
示 可 观测 状态 的 随机 变量 集合 Q, 的 静态 BBN。 每 个 随机 变量 可 以 是 离散 的 也 可 以 是 连续 的 。 我 
们 需要 定义 可 以 表示 一 个 时 间 有 段 内 的 状态 间 条 件 分 布 的 模型 以 及 一 个 转换 模型 (表示 连续 时 间 
段 间 的 BBN 的 关系 ) 。 所 以 ， 如 果 Z, ={ Q,U O,} 是 两 个 变量 集 的 并 集 ， 这 个 转换 和 观测 模型 可 
以 被 定义 为 没有 循环 的 两 个 时 间 段 的 BBN 的 条 件 概 率 分 布 的 乘积 ， 称 为 B,。 符 号 (1: N) 意思 是 
从 1 到 NN 的 所 有 变量 : 

N 
p(Zt ({:N) | Zi (1:N)) = TT pz) | Pa(z())) 
i=1 
其 中 Zi(D) 是 时 间 段 + 的 第 1 个 结 点 ，Pa(Z,(D)) 是 Z,(i) 的 父 结 点 ， 并 且 N = N, + N。。 简 单 起 见 ， 
我 们 限制 这 里 的 结 点 是 一 阶 马尔 可 夫 过 程 的 定义 ， 定 义 中 在 时 刻 t 的 变量 只 受 在 时 刻 t_1 的 前 
驱 变量 影响 。 我 们 表示 无 条 件 的 初始 状态 分 布 p(Z(1: N) ) 为 一 个 无 条 件 贝 叶 斯 网 B | 。B, 和 日 ， 
对 于 所 有 的 t， 定 义 DBN。 在 图 13-9 中 是 一 个 有 两 个 时 间 段 的 简单 DBN。 


人 
Ciy—Oty (ot)—(O 
图 13-9 一 个 两 个 时 间 片 的 DBN 例子 。 随 机 变量 的 集合 Q 


是 隐藏 的 ， 集合 0 是 观测 集 ，t 表示 时 间 


很 明显 ， 动 态 贝 叶 斯 网 络 是 13. 1 节 隐 马尔 可 夫 模 型 的 一 般 化。 在 图 13-9 中 贝 叶 斯 网 络 在 时 
间 t 和 t+1 相连 。 两 个 网 络 在 时 间 上 至 少 要 有 一 个 结 点 相连 。 


13. 2.2 学 习 贝 叶 斯 网 络 


学 习 是 智能 行为 的 核心 。 智 能 体 通常 记录 过 去 观测 到 的 事件 ， 期 望 这 些 信息 可 能 在 将 来 具 
有 作用 。 一 个 智能 体 在 它 的 生命 周期 中 会 遇 到 很 多 事件 ， 这 些 事件 可 能 比 它们 具有 的 存储 资源 
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还 要 多 。 所 以 ,我 们 把 每 一 个 事件 编码 成 一 个 抽象 摘要 而 不 是 每 一 个 观测 事件 的 完整 记录 。 而 
且 ， 压缩 的 信息 有 助 于 快速 检索 。 所 以 ， 学习 可 以 被 看 作 数 据 压 缩 、 索 引 和 存储 的 组 合 。 

一 个 智能 体 的 任何 新 的 观测 可 能 稍 不 同 于 先前 的 观测 ， 但 还 是 属于 先前 事件 的 一 类 。 在 这 
种 情况 下 ， 忽 略 特定 事件 下 不 重要 的 细节 ， 把 这 个 事件 作为 先前 类 的 实例 来 学 习 是 必要 的 。 一 个 
新 的 事件 可 能 非常 不 同 于 之 前 所 有 的 事件 ， 因 此 智能 体 需 要 学 习 一 个 新 的 类 或 是 特定 的 不 规则 
事件 。 一 个 智能 体 需 要 建立 足够 的 类 来 完全 刻画 参数 空间 ， 同 时 能 够 成 功 处 理 新 的 不 规则 事件 。 
所 以 ， 好 的 学 习 是 通用 性 和 具体 性 的 平衡 。 

在 概率 图 模型 的 范畴 中 ， 我 们 遇 到 了 两 个 普通 的 学 习 问 题 适 应 我 们 先前 的 讨论 ， 包 括 学 习 
整个 新 关系 〈 图 模型 ) 的 结构 学 习 和 重新 学 习 现 有 模型 成 分 的 参数 学 习 。 


结构 学 习 和 搜索 

结构 学 习 可 以 解决 确定 变量 间 是 否 存 在 统计 依赖 的 一 般 问题 。 例 如 ， 以 下 间 题 的 答案 有 利 
于 确定 天 气概 率 图 模型 的 结构 : 乌云 是 否 与 下 雨 有 关 ? 土星 的 位 置 是 否 与 在 某 一 天 飓风 的 次 数 
相关 ? 台风 的 存在 与 全 球 变 暖 是 否 有 关 ? 北极 的 天 气 是 否 与 撒哈拉 沙漠 的 边界 变化 相关 ? 可 以 明 
显 看 出 ， 在 概率 模型 中 ， 对 于 这 些 问 题 ， 为 真 的 答案 能 够 保证 问题 中 变量 之 间 的 条 件 依赖 ， 为 假 
的 答案 允许 我 们 把 这 些 变量 看 成 独立 的 。 

在 概率 图 模型 设计 中 ， 同 时 限制 保持 网 络 是 一 个 有 向 无 环 图 (DAGC) 时 ， 每 个 变量 可 能 与 
其 他 所 有 变量 相依 赖 。 在 最 坏 的 情况 下 ， 我 们 会 得 到 一 个 完全 连接 的 DAG 作为 模型 。 但 是 ， 在 
任意 规模 的 实际 应 用 中 这 并 不 常见 ， 因 为 条 件 概率 表 的 创建 是 很 困难 的 。 一 个 重要 的 图 模型 设 
计 是 考察 被 建 模 在 环境 中 的 几 个 变量 是 否 存在 独立 性 。 因 为 在 贝 叶 斯 信念 网 络 中 推理 的 复杂 性 
依赖 于 模型 中 变量 间 的 依赖 关系 个 数 ， 我 们 希望 在 保持 模型 有 效 性 的 情况 下 依赖 尽量 少 。 换 名 
话说 ,我们 想 要 从 完全 连通 图 中 剪 掉 尽 可 能 多 的 (不 必要 的 ) 依赖 。 

所 以 结构 学 习 被 认为 是 对 给 定 变量 ， 即 表示 的 应 用 领域 ， 在 可 能 结构 空间 中 搜索 最 优 结构 
的 问题 。 正 如 Chickering 等 〈1994) 指出 的 那样 ， 在 已 有 的 数据 集 搜索 最 优 解 是 NP 难 的 。 这 个 
最 优 结构 很 好 地 描述 了 数据 并 尽 可 能 简单 。 

但 是 ， 学 习 到 的 结构 要 能 够 描述 先前 观测 的 数据 并 与 新 的 可 能 相关 数据 吻合 。 所 以 ， 当 我 们 
建立 (学习 ) 一 个 复杂 结构 ， 精 确 刻画 积累 的 数据 时 ， 我 们 可 能 得 到 一 个 很 特别 的 结构 而 无 法 
适应 新 数据 。 在 优化 文献 中 ， 这 种 情况 有 时 被 称 为 过 拟 合 。 

虽然 用 蛮 力 法 在 指数 级 无 向 图 空间 中 搜索 对 于 实际 应 用 来 说 不 现实 ,但 存在 一 些 方法 帮助 
我 们 解决 这 一 问题 。 第 一 个 原则 是 奥 卡 姆 剃刀 ， 也 称 简约 原则 。 在 两 个 有 竞争 的 结构 中 ,简单 的 
结构 优 于 复杂 的 结构 。 在 某 些 情况 下 ， 奥 卡 姆 剃刀 规定 ， 从 简单 到 复杂 地 搜索 可 能 的 结构 ， 当 找 
到 一 个 能 成 功 地 适用 于 当前 的 任务 并 且 足 够 简单 的 结构 时 中 止 ， 这 样 一 个 简单 启发 式 方法 实际 
上 把 贝 叶 斯 先 验 知识 应 用 于 结构 搜索 。 

但 是 ,通过 先 验 地 定义 结构 的 复杂 性 度量 是 困难 的 。 建 立 一 个 合理 的 复杂 性 度量 把 所 有 可 
能 的 结构 按 该 度量 排序 并 不 是 显而易见 的 ， 因 为 可 能 是 同等 复杂 结构 的 类 ， 在 这 种 情况 下 我 们 
可 能 把 偏 序 加 到 结构 空间 。 即 使 在 同一 类 的 结构 中 ， 在 所 有 可 能 结构 中 进行 穷 举 搜索 也 常常 是 
不 切实 际 的 。 

正如 AI 中 的 很 多 难题 ， 通 常情 况 下 的 结构 归纳 ， 不 可 能 用 于 相当 复杂 的 情况 。 结 果 ， 我 们 
使 用 启发 式 方法 让 结构 搜索 更 容易 处 理 。 虽 然 不 令 人 满意 ， 但 对 给 定 工作 状态 模型 ， 启 发 式 方法 
在 模型 的 失败 结果 附近 执行 了 贪心 局 部 搜索 。 假 定 目 标 仅 是 在 图 结构 中 找到 局 部 最 优 解 ， 那 么 
可 能 给 建 模 问题 提供 一 个 足够 好 的 解决 方案 。 另 一 个 启发 方法 可 能 依赖 于 人 类 专家 在 这 一 问题 
上 的 建议 来 重新 考虑 模型 的 结构 ， 同 时 人 类 专家 可 能 再 次 关注 当前 模型 的 弱点 。 模 型 归纳 问题 
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的 一 个 更 一 般 的 方法 是 在 可 能 模型 空间 中 抽样 ， 我 们 将 介绍 该 类 型 抽样 的 一 个 通用 技术 ， 马 尔 
可 夫 链 蒙特 卡 罗 (Markov chain Monte Carlo) 。 


马尔 可 夫 链 蒙特 卡 罗 

马尔 可 夫 链 蒙特 卡 罗 (或 MCMC) 算法 是 从 概率 分 布 中 抽样 的 一 类 算法 。MCMC 是 基于 建 
立 一 个 将 平衡 分 布 作为 期 望 分 布 的 马尔 可 夫 链 的 方法 ， 在 很 多 步 后 链 上 会 出 现 被 称 为 在 时 间 中 
消失 (bum in time) 的 状态 ， 然 后 该 状态 被 用 作 该 应 用 领域 的 一 个 可 能 DAG 的 期 望 分 布 的 样本 。 
当然 ， 马 尔 可 夫 链 样本 质量 的 提高 是 作为 一 个 样本 数量 的 函数 存在 的 。 

在 结构 搜索 的 问题 中 ， 我 们 假设 给 定 变 量 集合 的 可 能 结构 构成 了 一 个 马尔 可 夫 链 的 状态 空 
间 。 这 些 状态 的 转换 矩阵 通过 基于 权 值 的 技术 更 新 ， 开 始 权 值 可 能 一 致 ， 在 这 些 结构 中 一 个 蒙特 
卡 罗 随 机 行走 能 够 相等 地 修正 所 有 结构 的 权 值 。 

当然 ， 在 时 间 上 ， 大 的 权 值 被 用 于 高 度 相关 结构 的 转换 。 如 果 结 构 A 只 在 一 个 链接 上 不 
同 于 结构 B， 那 么 该 空间 中 的 一 个 蒙特 卡 罗 行 走 是 这 些 结构 的 启发 式 组 织 的 邻 域 中 的 一 个 搜 
索 。 当 被 抽样 时 ， 每 一 个 结构 与 一 个 得 分 相 联系 ， 典 型 的 就 是 基于 得 分 的 最 大 化 后 验 概 率 
(或 MAP) p(structure | data) 。 蒙 特 卡 罗 抽 样 技 术 用 于 遍历 结构 空间 ， 通常 以 大 概率 选择 转 
换 以 提高 数据 的 似 然 值 ， 而 不 是 选择 得 分 差 的 转换 。 在 多 步 迭 代 后 ， 该 MCMC 收敛 于 较 好 的 
结构 ， 与 起 始点 比较 ， 它 提高 后 验 概率 p( structure | data) 。 但 是 它 还 是 存在 在 样本 空间 中 陷 
和 局 部 最 优 的 问题 ; 这 个 问题 能 够 用 诸如 随机 重新 开始 或 模拟 退火 (simulated annealing) 技 
术 来 解决 。 


参数 学 习 和 期 望 最 大 化 

参数 学 习 可 以 和 遍历 了 图 模型 空间 的 结构 学 习 相 比 。 给 定 一 个 问题 域 的 现 有 模型 并 给 出 
观测 集 ， 参 数学 习 试 图 去 推理 一 组 变量 的 最 后 的 联合 分 布 。 参 数学 习 通 常用 于 一 般 结构 搜索 的 
子 程序 。 当 一 个 完整 的 数据 集 出 现时 ， 用 于 分 布 的 参数 学 习 可 以 简化 为 计算 。 

在 图 模型 的 很 多 有 趣 的 应 用 中 ， 对 某 个 变量 来 说 ， 可 能 会 有 数据 集 不 完整 的 问题 ， 一 个 更 深 
人 、 更 相关 的 问题 是 模型 中 可 能 会 出 现 隐藏 的 或 者 不 被 察觉 的 变量 。 在 这 种 情况 下 ， 期 望 最 大 化 
(EM) 算法 为 推断 联合 分 布 的 估计 提供 了 有 力 工具 。 在 A. Dempster、N. Laird 和 D. Rubin (1977) 
的 一 篇 经 典 论文 中 ， 首 次 提出 和 人 解释 了 EM 算法 。 这 篇 论文 扩展 了 这 种 方法 并 且 发 展 了 其 后 续 
理论 。 

EM 已 经 被 证 明 是 统计 和 概率 建 模 中 最 为 流行 的 学 习 方 法 。 在 统计 学 中 使 用 EM 算法 来 寻找 
概率 模型 中 参数 的 最 大 似 然 估计 值 ， 而 该 模型 是 依赖 于 可 能 的 不 可 观测 的 隐藏 变量 的 。EM 是 一 
个 迭代 算法 ， 在 以 下 两 个 步骤 中 交替 进行 ， 首 先是 也 步 ， 计 算 包 含 隐藏 变量 的 变量 的 似 然 期 望 ， 
仿佛 隐藏 变量 是 可 观测 的 一 样 ; 然后 是 M 步 , 计算 EE 步 的 似 然 期 望 中 参数 的 最 大 似 然 估 计 值 。 
M 步 中 的 参数 再 次 被 用 于 下 一 轮 的 卫 步 ， 过 程 一 直 重 复 至 收敛 为 止 ， 也 就 是 说 ， 直 到 卫 步 和 M 
步 之 间 只 有 非常 小 的 变化 为 止 。 我 们 在 13. 2. 3 节 中 给 出 了 EM 算法 的 一 个 例子 。 


HMM 的 期 望 最 大 化 (Baum-Welch) 

参数 学 习 的 一 个 重要 工具 就 是 EM 算法 的 一 个 变形 ， 称 为 Baum-Welch， 当 只 给 定 发 出 的 
(可 观测 的 ) 训练 数据 时 ， 用 Baum-Welch 最 大 似 然 和 后 验 式 来 估计 HMM 或 其 他 时 序 图 模型 的 参 
数 。Baum-Welch 算法 含有 两 步 : 

1) 计算 每 个 时 间 状 态 前 向 和 后 向 概率 。 

2) 在 第 一 步 的 基础 上 ， 确 定 转换 -发 出 对 值 的 频率 并 把 这 个 值 按 整 个 序列 的 概率 分 开 。 

Baum-Welch 的 第 一 步 使 用 前 向 -后 向 算法 。 正 如 最 初 在 4.1 节 中 见 到 的 ， 该 算法 支持 动态 
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规划 ， 到 13. 1. 3 节 中 被 用 作 语 音 的 解释 字符 串 为 止 ， 曾 出 现 过 几 次。 

在 给 定 模型 的 参数 情况 下 ，Baum-Welch 算法 的 第 二 步 用 于 计算 隐 马 尔 可 夫 模 型 或 其 他 时 序 
模型 中 特定 输出 序列 的 概率 。 第 二 步 实际 上 是 计算 特定 转换 - 发 出 对 的 期 望 次 数 。 每 次 发 现 一 
个 转换 ， 同 时 这 个 序列 概率 上 的 转换 比率 值 增加 ， 并 且 这 个 值 能 够 用 来 计算 新 的 转换 值 。 

解决 HMM 参数 学 习 问 题 的 一 个 襄 力 方法 是 产生 所 有 可 能 的 观测 序列 ， 及 以 两 个 转换 矩阵 得 
到 的 概率 产生 隐 状 态 。 给 定 模型 时 ， 两 个 序列 的 联合 概率 通过 与 矩阵 中 的 相应 概率 相 乘 计算 得 
到 。 该 过 程 的 时 间 复 杂 性 为 O(2TN ) ， 其 中 ，T 为 观测 到 事件 的 序列 长 度 ，N 是 状态 字母 表 中 
符号 的 个 数 。 这 个 时 间 复 杂 性 开销 在 现实 问题 中 是 难以 处 理 的 ， 实现 Baum-Welch 的 一 种 选择 是 
利用 动态 规划 算法 。 

接 下 来 我 们 使 用 结合 了 信念 循环 传播 (Pearl 1988) 的 EM 算法 来 阐述 参数 学 习 的 例子 。 


13. 2.3 期 望 最 大 化 : 一 个 例子 


我 们 用 一 个 例子 描述 期 望 最 大 化 ， 并 且 使 用 Pearl (1988) 的 循环 信念 传播 算法 展示 相关 的 
步骤 。 这 个 例子 在 9.3 节 中 简要 讨论 一 阶 随机 建 模 语言 时 就 已 经 实现 了 ， 例 子 中 对 于 马尔 可 夫 随 
机 场 的 表示 来 自 于 循环 逻辑 (Pless et al. 2006) 一 阶 随机 建 模 语言 。 即 使 简单 的 方法 能 够 用 于 解 
决 我 们 提出 的 防盗 自动 报警 例子 的 限制 ， 但 我 们 的 目标 是 在 可 理解 的 情况 下 ， 说明 BBN、 循 环 
信念 传播 和 EM 算法 的 一 个 重要 推理 方案 。 

考虑 图 13-10 中 的 贝 叶 斯 信念 网 络 ， 它 有 3 个 结 点 : 警 铃 A、 行 窃 B 和 地 震 Q。 这 个 模型 描 
述 了 一 个 防盗 自动 报警 系统 A,， 在 时 刻 t 活动 ， 它 依赖 于 一 个 可 能 的 行窃 B,, 或 者 一 个 地 震 Qi。 
虽然 有 一 些 假设 概率 度量 的 模型 能 够 用 程序 描述 成 循环 逻辑 : 


At | Bt, Qt = [[[0.999,0.001],[0.7,0.3]],[[o.8,0.2],[o.1.0.9]]] 


但 我 们 用 简化 了 的 实际 循环 逻辑 语法 使 这 个 表述 变 得 更 清晰 。 

在 这 个 程序 中 我 们 假设 所 有 的 变量 都 是 布尔 型 的 ， 也 假 CE < 
设 图 13-10 中 的 BBN 包含 上 面 特 定 的 条 件 概率 分 布 (CPD) 。 Ce 
例如 ， 当 给 定 一 个 行窃 或 地 震 时 ， 表 中 具体 指定 警 铃 不 响 的 
概率 是 0. 001; 当 给 定 一 个 行窃 或 地 震 时 ， 警 铃 响 起 的 概率 ”图 13-10 管 铃 、 地震、 行窃 例子 
是 0.1。 的 一 个 贝 叶 斯 信念 网 

我 们 也 注意 到 这 个 程序 详细 说 明了 一 般 化 的 BBN， 更 确切 地 说 是 一 个 每 个 时 刻 t 的 BBN。 这 
有 些 类 似 于 Kersting 和 DeRaedt (2000) 的 表述 方法 。 例 如 ， 如 上 面 一 个 例子 ， 循 环 逻辑 把 概率 逻 
辑 语句 转换 成 一 个 马尔 可 夫 随 机 场 以 应 用 推理 算法 一 -循环 信念 传播 〈Pearl 1988 ) 。 

一 个 马尔 可 夫 随 机 场 或 马尔 可 夫 网 络 ， 是 一 个 概率 图 模型 ( 见 9. 3 节 ) ， 该 模型 的 结构 是 一 
个 无 向 图 (而 贝 叶 斯 信念 网 络 是 有 向 图 ) ， 这 个 马尔 可 夫 随 机 场 结构 图 中 结 点 对 应 随机 变量 ， 图 
中 结 点 之 间 的 连接 对 应 于 随机 变量 之 间 的 依赖 。 在 循环 逻辑 中 ， 马 尔 可 夫 随 机 场 被 用 作 有 原始 图 
模型 (9.3 节 中 使 用 的 团 树 ) 的 一 个 中 间或 等 价 表述 。 这 个 马尔 可 夫 随 机 场 支持 概率 推理 ， 在 我 
们 的 例子 中 就 是 循环 信念 传播 (Pearl 1988 ) 。 

这 个 马尔 可 夫 随 机 场 量 化 成 分 由 一 个 势 函 数 集 指定 ， 这 个 函数 集 的 域 是 这 个 马尔 可 夫 随 机 
场 图 结构 的 一 个 团 ， 并 且 定义 了 一 个 所 有 可 能 指定 连接 间 的 对 应 ， 该 对 应 是 从 团 中 变量 所 有 可 
能 赋值 集合 到 非 负 实 数 集 。 

在 循环 逻辑 系统 中 ， 使 用 马尔 可 夫 随 机 场 的 一 个 特殊 版 本 就 是 给 随机 变 基 之 间 的 每 个 依赖 
指定 一 个 势 函数 。 结 果 ， 马 尔 可 夫 随机 场 能 用 有 两 类 结 点 的 二 部 图 表示 ， 这 两 类 结 点 是 变量 结 点 
和 竺 结 点 。 变 量 结 点 对 应 随机 变量 ， 伴 结 点 对 应 能 结 点 邻居 指定 的 随机 变量 的 势 函数 。 图 13-11 
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表述 了 二 部 图 马尔 可 夫 随机 场 ， 这 个 场 具 有 图 13-10 的 BBN 的 势 函 数 。 
















.001 


， ,[0.7,0.3]], 
:0. eb 1 


-9]]] 


图 13-11 一 个 反映 图 13-10 的 BBN 中 随机 变量 势 函 数 的 马尔 可 夫 随 
机 场 ， 连 同系 统 的 两 个 观测 


在 循环 逻辑 中 ,我 们 能 够 指定 关于 模型 和 提出 问题 的 事实 ; 例如 ， 能 够 设置 三 个 状态 : 

B4 = tt. 

Qi1 =f 

A1=? 

这 三 个 陈述 的 一 个 解释 是 我 们 已 知 在 时 刻 1 有 一 个 行窃 ， 没 有 地 震 ， 并 且 我 们 想 知道 警 铃 响 
起 的 概率 。 这 三 个 状态 和 A, 1 8B, 一 起 使 用 ，Q, = [[[0. 999, 0. 001,],[0.7,0.3]],[[0. 8,0.2], 
[0. 1,0. 9]]] ， 这 个 循环 逻辑 系统 用 事实 和 图 13-11 包含 的 势 函 数 来 建立 马尔 可 夫 随机 场 。 

从 图 13-11 中 注意 到 程序 中 的 事实 以 叶子 簇 结 点 加 入 到 马尔 可 夫 随机 场 中 ， 并且 条 件 概率 分 
布 (CPD) 编码 在 连接 有 3 个 变量 结 点 的 能 结 点 中 。 为 了 推测 这 个 查询 的 答案 ， 该 系统 把 循环 信 
念 传播 算法 应 用 到 马尔 可 夫 随 机 场 。 因 为 阐述 了 简单 的 确定 事实 ， 并 且 原 始 的 图 模型 没有 环 路 ， 
该 推理 是 精确 的 ， 并 且 在 一 次 迭代 就 可 以 收敛 并 返回 警 铃 的 分 布 [0.8，0.2]。 

另外 ， 通 过 允许 它 的 用 户 指定 可 学 习 的 分 布 ， 循环 逻辑 支持 选择 循环 逻辑 程序 设计 规则 的 
学 习 。 通 过 一 个 来 自 期 望 最 大 化 ( Dempster et al. 1977) 的 信息 传递 算法 来 估计 参数 。 为 了 说 明 
这 一 点 ， 我 们 接 下 来 假设 不 知道 图 13-10 中 BBN 的 条 件 概 率 分 布 ， 在 循环 逻辑 中 ， 为 了 得 到 这 
个 分 布 的 值 ， 用 户 把 条 件 概率 分 布设 置 成 在 任意 时 刻 t 可 学 习 的 分 布 。 我 们 在 程序 中 使 用 变量 上 
定义 : 

At1 Bt Qt = 上 


现在 使 用 以 下 的 事实 表述 ， 给 出 一 个 循环 逻辑 解释 在 一 时 间 周期 上 的 观测 值 的 集合 。 为 简 
单 起 见 ， 只 收集 三 个 时 间 间 隔 ， 每 个 三 个 数据 点 ; 


循环 逻辑 将 一 个 循环 信念 传播 推理 框架 与 期 望 最 大 化 方法 结合 来 估计 一 个 模型 的 可 学 习 参 
数 。 为 了 完成 这 个 ， 与 以 前 一 样 解释 给 模型 建立 马尔 可 夫 随 机 场 。 对 于 图 13-10 中 的 警 耸 BBN 
以 及 对 应 的 马尔 可 夫 随 机 场 ， 在 图 13-12 中 给 出 ， 其 中 可 学 习 参 数 上 连接 到 具有 把 可 学 习 规 则 统 
一 到 前 面 介绍 的 (A | Bu Qi = L) 的 簇 结 点 上 。 


390 渭 四 这 分 和 帮 吉 学 习 





下 面 计算 BBN 已 知 的 分 布 ， 并 且 随 机 初始 化 复 结 点 R1、R2、R3 和 可 学 习 结 点 上。 最 后 ， 
三 个 时 间 段 数据 输入 到 这 个 系统 ， 其 中 ， 已 知 的 事实 和 以 前 一 样 被 包含 在 叶 艇 结 点 中 。 图 13-12 
显示 了 结果 。 








图 13-12 ”一 个 可 学 习 的 结 点 工 被 添加 到 图 13-11 的 马尔 可 夫 随 机 场 中 。 马 
尔 可 夫 随 机 场 在 3 个 时 间 域 进行 选 代 。 为 了 简单 起 见 ， 只 是 证 明 
了 时 间 1 中 的 EM 和 迭代 过 程 


期 望 最 大 化 算法 是 通过 消息 传递 实现 闪 代 过 程 。 每 次 迭代 之 后 ， 条 件 概 率 的 当前 近似 值 ， 是 
一 个 可 学 习 结 点 传递 到 每 个 结 点 连接 的 簇 结 点 的 消息 。 当 可 学 习 结 点 更 新 时 ， 每 个 相 邻 的 簇 结 
点 发 送 一 条 消息 给 L (图 13-12 中 标记 M 的 虚 条 头 )。 这 条 消息 是 自 邻 接 变 量 结 点 进入 到 簇 结 点 
所 有 消息 的 产生 结果 。 这 些 (未 归 一 ) 表 是 每 个 秘 结 点 联合 概率 的 一 个 估计 。 这 是 条 件 变 量 和 
被 条 件 变 量 的 所 有 状态 的 一 个 分 布 。 这 个 可 学 习 结 点 计算 所 有 簇 消 息 的 总 和 并 且 把 它们 转换 成 
一 个 归 一 化 的 条 件 概率 表 。 

通过 簇 结 点 和 变量 结 点 的 推理 (篇 环 信念 传播 ) ,我 们 计算 可 学 习 结 点 消息 。 为 反映 基本 马 
尔 可 去 随机 场 的 两 种 结构 ,循环 信念 传播 有 两 步 消息 传递 ， 从 所 有 簇 结 点 给 它们 的 相 邻 变量 结 
点 发 送 消息 ， 即 图 13-12 中 标记 E. 1 的 实 箭头 ， 然 后 再 返回 ， 即 图 13-12 中 标记 了 . 2 的 虚 箭头 。 

使 用 这 个 信念 传播 算法 可 以 直到 收敛 产生 一 个 期 望 值 的 近似 值 ， 这 等 价 于 EM 算法 中 的 民 
步 。 发 生 在 所 有 可 学 习 簇 结 点 的 平均 值 返回 一 个 可 学 习 结 点 中 参数 的 最 大 似 然 佑 计 ， 这 对 应 M 
步 。 和 迭代 等 价 于 整个 EM 算法 ， 它 对 跟随 可 学 习 结 点 更 新 的 变量 结 点 和 簇 结 点 收 义 ， 支 持 变量 及 
可 学 习 结 点 跟随 簇 结 点 的 更 新 。 

总 结 这 个 算法 ， 并 且 显 示 在 图 13-12 中 : 

在 期 望 或 卫 步 : 

1) 所 有 簇 结 点 发 送 消息 给 变量 结 点 。 

2) 所 有 变量 结 点 返回 给 簇 结 点 以 更 新 簇 结 点 信息 。 

在 最 大 化 或 M 步 中 : 

在 王 步 更 新 的 艇 结 点 发 消息 给 可 学 习 结 点 ， 并 在 这 些 结 点 中 平均 。 

在 刚才 所 描述 的 算法 中 ， 结 点 能 够 以 任意 顺序 改变 ， 并 且 簇 结 点 和 变量 结 点 的 更 新 可 能 与 
学 习 结 点 的 更 新 重 人 至。 这 个 迭代 更 新 过 程 代 表 了 一 类 EM 类 型 算法 ， 其 中 的 一 些 算 法 在 某 些 领域 
比 标准 的 EM 算法 更 有 效 (Pless et al 2006 ，Dempster et al. 1977 ) 。 这 个 框架 还 支持 的 一 个 扩展 
算法 是 Yedidia 等 (2000) 提出 的 一 般 化 的 信念 传播 算法 。 


13.3 强化 学 习 的 随机 扩展 
在 10.7 节 中 首先 介绍 了 具有 回报 的 强化 学 习 ， 也 就 是 一 个 智能 体 学 习 在 外 部 环境 采取 不 同 
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动作 的 集合 。 智 能 体 的 目标 是 使 长 期 的 回报 最 大 化 。 一 般 来 说 ， 这 个 智能 体 想 要 学 习 一 个 策略 ， 
或 者 是 世界 中 状态 到 动作 之 间 的 一 个 映射 。 

为 了 描述 强化 学 习 的 概念 ， 考 虑 一 个 回收 机 器 人 的 例子 (改编 自 Sutton and Barto 1998)， 也 
就 是 该 移动 机 器 人 的 工作 是 从 商务 办 公 室 中 收集 空 的 易 拉 钢 。 这 个 机 器 人 有 一 个 充电 电池 ， 还 
装备 有 解释 传感器 和 移动 手臂 。 我 们 假定 它 还 有 对 感知 信息 解释 系统 导航 并 移动 手臂 的 控制 系 
统 。 它 根据 电池 的 当前 电量 使 用 强化 学 习 搜索 易 拉 挫 。 这 个 智能 体 必须 能 够 做 出 三 个 决定 之 一 : 

1) 这 个 机 器 人 在 某 段 时 间 内 能 够 主动 搜索 汽水 易 拉 饶 。 

2) 这 个 机 器 人 能 暂停 并 且 等 待 有 人 拿 来 易 拉 鲍 。 

3) 这 个 机 器 人 能 回 到 充电 基 座 充电 。 

机 器 人 有 时 在 固定 的 时 间 段 决策 ， 有 时 在 找到 空 易 拉 钠 时 作 决 策 ， 或 在 某 个 其 他 事情 发 生 
时 决策 。 结 果 ， 机 器 人 有 三 个 动作 ， 且 它 的 状态 由 电池 电量 决定 。 大 多 数 时 候 这 个 回报 被 置 零 ， 
当 收 集 到 一 个 易 拉 负 时 ， 甚 变 为 正 ; 如果 电 池 没 有 电 ， 回 报 为 负 。 注 意 ， 在 这 个 例子 中 ， 基 于 强 
化 的 学 习 的 智能 体 是 机 器 人 的 一 部 分 ， 它 能 够 同时 监视 机 器 人 的 物理 状态 和 外 界 环境 的 情形 
(状态 ): 机 器 人 同时 监视 机 器 人 状态 和 外 界 环境 。 

传统 强化 学 习 框 架 有 一 个 主要 的 限制 ， 就 像 我 们 刚刚 描述 过 的 : 它 实 质 上 是 确定 性 的 。 为 了 
克服 局 限 性 和 在 一 个 大 范围 的 复杂 活动 中 使 用 强化 学 习 ， 我 们 通过 加 入 随机 成 分 来 扩展 确定 性 
框架 。 在 接 下 来 的 几 节 中 ， 我们 考虑 随机 强化 学 习 的 两 个 例子 : 马尔 可 夫 决 策 过 程 和 部 分 可 观测 
的 马尔 可 夫 决 策 过 程 。 


13. 3. 1 马尔 可 夫 决 策 过 程 


到 此 为 止 ， 前 面 介绍 过 的 强化 学 习 的 例子 (包括 10.7 节 和 13. 3 节 中 介绍 的 ) 实质 上 都 是 确 
定性 的 。 实 质 上 ， 当 智能 体 从 某 一 个 时 刻 t 的 状态 中 执行 一 个 动作 时 ， 其 总 会 确定 地 指定 时 刻 
t+1 的 新 状态 : 这 个 系统 是 完全 确定 的 。 

尽管 如 此 ， 很 多 实际 的 强化 学 习 应 用 可 能 不 是 这 样 : 智能 体 没 有 完备 的 知识 或 者 不 能 控制 
世界 的 下 一 个 状态 。 更 确切 地 说 ， 从 状态 S, 中 选 一 个 动作 可 能 导致 时 刻 t+1 产生 多 于 一 个 状态 
的 可 能 结果 。 例 如 ， 在 国际 象棋 游戏 中 ， 当 我 们 做 了 一 个 确定 的 移动 时 ， 我 们 经 常 不 知道 对 手 将 
要 怎么 走 。 我 们 无 法 完全 知道 走 了 这 一 步 将 会 是 什么 状态 ， 实 际 上 ， 在 很 多 多 人 游戏 中 这 种 不 确 
定性 都 是 存在 的 。 第 二 个 例子 是 玩 彩票 或 其 他 机 会 性 游戏 ， 我 们 选择 了 可 能 回报 不 确定 的 动作 。 
第 三 个 例子 是 环境 过 于 复杂 ， 以 至 于 一 个 状态 选择 的 确定 性 响应 是 不 可 计算 的 情况 ， 即 在 一 个 
智能 体 〈 而 不 是 一 个 以 上 的 智能 体 ) 中 做 决定 。 另 外 ， 在 这 种 情形 下 给 出 一 个 基于 概率 的 响应 
可 能 是 我 们 认为 的 最 好 的 方法 。 在 所 有 的 这 些 情形 中 ， 我 们 需要 一 个 解决 强化 学 习 问 题 的 更 有 
力 的 框架 。 马 尔 可 去 决策 过 程 (MDP) 就 是 这 样 一 个 框架 。 

MDP 基于 一 阶 马 尔 可 夫 特 性 ， 这 个 过 程 中 下 一 个 状态 的 概率 分 布 只 依赖 于 现在 状态 和 可 能 
动作 。MDP 独立 于 所 有 现在 状态 的 先行 状态 。MDP 是 一 个 离散 时 间 随 机 过 程 ， 它 包括 一 状态 集 、 
在 每 一 个 状态 执行 的 动作 集 ， 以 及 和 每 个 状态 相关 联 的 回报 函数 。 结 果 ，MDP 提供 了 一 个 能 够 
为 一 大 类 强化 学 习 问 题 建 模 的 有 力 框架 。 下 面 是 MDP 的 定义 : 

定义 (马尔 可 夫 决 策 过 程 或 MDP) ”一 个 马尔 可 夫 决 策 过 程 是 一 个 四 元 组 <S,A,P,R >， 
其 中 : 

S 是 一 个 状态 集 ， 并 且 

A 是 一 个 动作 集 。 

ps(s,, si) =p(si ;1 Si, al =a) 是 智能 体 执行 动作 ae A， 从 时 刻 t 的 状态 S, 转 到 时 刻 t+1 
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的 状态 Si,1 的 概率 。 由 于 这 个 概率 pueP 是 定义 在 整个 动作 状态 空间 上 ， 通 常用 一 个 转换 甜 阵 表 
示 这 个 概率 。 
R(s) 是 在 状态 s 智能 体 得 到 的 回报 。 


我 们 应 该 看 到 强化 学 习 的 MDP 框架 和 10. 7 节 中 的 强化 学 习 表 示 之 间 的 惟一 区 别 在 于 ; 强化 
学 习 表 示 中 的 转换 函数 现在 被 概率 分 布 函数 代替 了 。 在 我 们 的 理论 中 这 是 一 个 重要 修改 ， 使 我 
们 能 够 在 不 可 计算 的 复杂 世界 或 实际 的 随机 世界 中 捕获 世界 中 的 不 确定 性 。 在 这 种 情况 下 ， 一 
个 智能 体 的 动作 回报 响应 最 好 用 概率 分 布 表示 。 


13. 3.2 ”部 分 可 观测 的 马尔 可 夫 决 策 过 程 


我 们 看 到 MDP 能 够 对 棋 类 这 样 的 游戏 建 模 ， 在 这 个 模型 中 ， 世 界 的 下 一 个 状态 在 一 个 智能 
体 的 确定 控制 之 外 。 我 们 下 国际 象棋 时 ， 游 戏 的 结果 状态 依赖 于 对 手 的 走 法 。 所 以 ， 我 们 要 意识 
到 我 们 所 处 的 状态 ， 也 要 意识 到 我 们 所 做 的 动作 ( 走 子 ) ， 但 对 于 我 们 来 说 ， 结 果 状 态 不 是 立即 
能 够 可 知 的 。 我 们 仅 有 一 关于 将 进入 状态 的 概率 分 布 ， 而 且 它 依赖 于 对 手 的 走 法 。 

现在 考虑 扑克 游戏 。 这 里 ， 我 们 还 不 确定 我 们 现在 的 状态 ! 我 们 知道 我 们 拿 到 的 牌 ,但 是 不 
能 很 好 地 知道 对 手 拿 的 牌 。 我 们 也 许 只 能 用 叫 牌 的 知识 来 猜测 对 手 的 牌 。 这 个 环境 比 MDP 的 环 
境 更 具有 不 确定 性 。 我 们 不 仅 不 知道 我 们 所 处 的 状态 ， 还 必须 根据 我 们 对 实际 环境 状态 的 猜测 
采取 一 个 动作 。 结 果 ， 对 这 个 动作 产生 的 新 环境 状态 的 猜测 就 更 不 确定 了 。 所 以 我 们 需要 一 个 比 
MDP 还 丰富 的 框架 给 这 个 双重 不 确定 性 情形 建 模 。 部 分 可 观测 的 马尔 可 夫 决 策 过 程 (POMDP) 
是 一 个 能 完成 这 项 任务 的 框架 ， 之 所 以 被 称 为 POMDP 是 因为 我 们 只 能 观测 到 部 分 我 们 所 处 的 状 
态 以 及 部 分 对 手 将 要 做 出 的 反应 。 我 们 只 有 可 能 所 处 的 状态 集 的 概率 分 布 ， 而 不 是 现在 状态 的 
全 部 信息 。 下 面 定义 PODMP: 


定义 〈 部 分 可 观测 马尔 可 夫 决 策 过 程 或 POMDP) 一 个 部 分 可 观测 马尔 可 夫 决 策 过 程 是 一 
个 五 元 组 <S, A,O,P,R >， 其中: 

S 是 一 个 状态 集 ， 并 且 

A 是 一 个 动作 集 。 

O 〇 是 表示 智能 体能 够 看 到 的 环境 的 观测 集合 。 因 为 智能 体 不 能 直接 观测 到 所 处 的 状态 ， 这 
个 观测 与 环境 中 根本 的 真实 状态 概率 相关 。 

ps(S1;0, S11) =p(si ,ol=o01 sal-。) 是 当 智能 体 在 时 刻 t 状态 为 st 时 ， 执 行动 作 a， 得 到 
观测 0 并 导致 t+1 时 进入 状态 st, 的 概率 。 

R(s,, a, s, ,|) 是 智能 体 在 状态 si 执行 动作 a 以 及 转换 到 状态 Si,1 所 得 到 的 回报 。 


总 之 ， 如 果 观 测 o 给 我 们 一 个 当前 状态 s 的 精确 的 描述 ， 则 MDP 可 以 看 成 是 POMDP 的 一 个 
特殊 情况 。 一 个 类 比 有 助 于 理解 这 个 不 同 ，MDP 相对 于 马尔 可 夫 链 就 像 POMDP 相对 于 隐 马 尔 可 
夫 模 型 。 

以 下 有 几 个 建立 MDP 和 POMDP 的 算法 。 这 些 算 法 的 复杂 性 很 明显 大 于 之 前 所 说 纯 确 定 的 情 
况 。 实 际 上 POMDP 算法 的 求解 在 计算 上 是 很 难 解决 的 。 也 就 是 说 ， 使 用 POMDP 在 多 项 式 时 间 
内 为 这 个 问题 找到 一 个 最 优 解 是 不 可 能 的 ， 而 且 这 个 解 很 有 可 能 是 不 可 计算 的 。 因 此 ， 我 们 用 求 
近似 优化 解 的 算法 解决 这 个 问题 。 关 于 MDP 和 POMDP 解 算法 的 参考 文献 包括 Sutton 和 Barto 
(1998) 和 Puterman (1998 ) 。 接 下 来 介绍 一 个 MDP 实现 的 例子 。 


13. 3. 3 马尔 可 夫 决 策 过 程 实现 的 例子 
为 了 描述 一 个 简单 的 MDP， 我 们 重新 提 到 13. 3 节 开 始 介 绍 的 回收 机 器 人 (改编 自 Sutton 和 
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Barto 1998) 的 例子 。 回 顾 一 下 ， 每 次 这 个 强化 学 习 智 能 体 遇 到 一 个 外 部 事件 时 ， 都 有 三 种 决策 
可 供 选 择 ， 主动 搜 索 回收 一 个 易 拉 钢 ， 称 之 为 搜索 (search) ; 等 竺 有 人 拿 来 一 个 易 拉 鲍 ， 称 之 
为 等 待 (wait) ; 基 座 充电 ， 称 之 为 充电 (recharge)。 这 些 决 策 是 机 器 人 只 基于 电池 的 能 量 状态 
作出 的 。 为 简单 起 见 ， 用 两 个 状态 来 区 分 电池 的 电量 : 低 (low) 和 高 (high)， 状态 空 间 S = 
{low, high} 。 如 果 电 池 现 在 有 电 ， 则 它 的 状态 为 高 ， 否 则 ， 它 的 状态 为 低 。 智 能 体 的 动作 集合 是 
A(low) ={search, wait, recharge} 以 及 A( high) = {search, wait} 。 如 果 A(high) 包含 充电 ， 我 们 
期 望 智能 体 学 习 一 个 能 判断 该 动作 为 次 优 的 策略 ! 

电池 状态 的 确定 独立 于 执行 的 动作 。 如 果 电 池 的 状态 为 高 ， 那 么 我 们 期 望 机 器 人 能 够 在 电 
量 充足 的 情况 下 完成 一 段 时 间 的 主动 搜索 而 不 会 出 现 没 电 的 这 种 风险 。 如 果 状 态 为 高 ， 那 么 代 
理 停留 在 这 个 状态 的 概率 为 a， 变 到 状态 低 的 概率 为 1 -a。 当 状态 为 低 时 ， 如 果 代 理 执行 一 个 
主动 搜索 ， 那 么 这 个 电池 的 能 量 水平 还 保持 在 相同 的 状态 下 的 概率 为 bp， 能 量 用 尽 的 概率 
为 1 -b。 

接 下 来 设计 一 个 回报 系统 。 一 旦 电池 能 量 用 尽 ，S =Iow。 这 个 机 器 人 被 救 后 ， 它 的 电池 被 
充电 状态 又 变 为 high， 并 且 得 到 一 个 -3 的 回报 。 每 次 机 器 人 找到 一 个 易 拉 负 ， 得 到 一 个 1 的 回 
报 。 我 们 分 别 用 机 器 人 在 主动 搜索 和 等 待 两 种 状态 下 收集 到 的 易 拉 铅 的 期 望 数量 (智能 体 收 到 
的 期 望 回报 ) 分 别 用 R_search 和 R_wait 来 表示 ， 并 假设 R_search > R_wait。 我 们 还 假设 当 返 
问 充电 时 ， 机 器 人 不 能 够 收集 任何 易 拉 钢 ， 当 电池 电量 低 时 机 器 人 不 能 在 一 步 中 收集 任何 易 拉 
钠 。 刚 刚 描述 的 这 个 系统 能 用 一 个 有 限 的 MDP 表示 ， 其 中 MDP 的 转换 概率 (p。(s, si)) 以 及 期 
望 回 报 见 表 13-1。 

表 13-1 回收 机 器 人 例子 的 有 限 MDP 的 转换 概率 和 期 望 回报 
注 : 表 中 包含 了 当前 状态 st、 下 一 个 状态 si.+ 、 动 作 和 当前 状态 at 的 可 能 的 回报 的 所 有 组 合 








Si St at Pa (St, Si) Re (Ss:, Sr1) 
high high search a R_search 
high low search l1-a R_search 
low high search 1-b -3 
low low search b R_search 
high high wait 1 R_wait 
high low wait 0 R_wait 
low high wait 0 R_wait 
low low wait 1 R_wait 
low high recharge 1 0 
low low recharge 0 0 





为 了 表示 有 限 MDP 的 动态 情况 我 们 可 以 画 一 个 图 ， 例 如 图 13-13 ， 这 是 回收 机 器 人 的 MDP 
转换 图 。 一 个 转换 图 有 两 个 类 型 的 结 点 : 状态 结 点 和 动作 结 点 。 智 能 体 的 每 个 状态 结 点 由 里 面 含 
有 这 个 状态 名 字 ( s) 的 大 圈 来 描述 。 每 个 状态 - 动作 对 由 一 个 被 表示 成 一 个 小 黑 轿 的 动作 结 点 连 
接 一 个 状态 结 点 表示 。 如 果 智 能 体 从 状态 s 开始 ， 并 且 执 行动 作 a， 它 沿 着 从 状态 结 点 s 到 动作 
结 点 (su a) 的 这 条 线 移 动 。 结 果 ， 环 境 通 过 离开 动作 结 点 (su a) 的 一 个 箭头 生成 一 个 到 下 一 个 状 
态 结 点 的 响应 ， 其 中 每 个 箭头 对 应 一 个 三 元 组 (su a, si) ， 其 中 ，st 是 下 一 个 状态 。 这 个 箭头 
由 转换 概率 ps( su si.1) 以 及 转换 期 望 回报 R(s,, s,,) 标记 。 注 意 与 离开 一 个 动作 结 点 的 箭头 相关 
联 的 转换 概率 的 和 总 是 1。 

我 们 看 到 的 几 个 在 这 章 描 述 的 随机 学 习 技术 ， 在 第 15 章 还 要 描述 ， 用 于 对 自然 语言 的 理解 。 








图 13-13 ”回收 机 器 人 的 转换 图 。 大 环 表示 状态 结 点 ， 小 黑 点 表示 动作 结 点 


13. 4 ”结语 和 参考 文献 


本 章 从 动态 的 及 随机 的 观点 描述 了 机 器 学 习 算 法 。 概 率 机 器 学 习 的 核心 是 贝 叶 斯 算法 和 马尔 可 
夫 算法 。 这 两 个 工具 已 经 被 简化 〈 贝 叶 斯 信念 网 络 和 马尔 可 夫 链 ) 来 使 机 器 学 习 的 随机 方法 更 加 有 
力 和 容易 处 理 。 贝 叶 斯 定理 的 首次 描述 在 5.3 节 中 ， 贝 叶 斯 信念 网 络 的 介绍 在 9.3 节 中 。 马 尔 可 夫 
链 以 及 一 阶 马尔 可 夫 假 设 在 9.3 节 中 有 描述 。 它 们 组 成 了 第 13 章 的 素材 。 

在 随机 方法 建 模 和 学 习 方 面 有 很 多 入 门 书 和 指导 。J. Pearl (1988) 所 著 的 《Probabilistic 
Reasoning in Intelligent Systems: Networks of Plausible Inference》 是 一 个 很 集中 于 图 模型 的 很 有 影 
响 的 描述 。 我 们 也 推荐 F.V. Jensen (1996 ) 的 《Bayesian Networks and Decision Graphs》、 
R. G. Cowell 等 (1999) 的 《Probabilistie Networks and Expert Systems》、S. Lauritzen (1996) 的 
《Graphical Models》、F. Jensen (2001) 的 《An Introduction to Bayesian Networks》 以 及 M. I Jordan 
(1998) 的 《Learming in Graphical Models》。 

还 有 几 个 作者 从 统计 学 的 角度 描述 了 概率 学 习 ， 包 括 J. Whittaker (1990) 的 《Graphical 
Models in Applied Multivariate Statisties》 以 及 D. Edwards (2000) 的 《Introduction to Graphical Mod- 
eling》。B. Frey (1998) 的 《Graphical Models for Machine Learning and Digital Communication》 从 一 
个 工程 /商业 的 角度 进行 了 描述 。 

J. Pearl (2000) 的 《Causality》 是 从 哲学 角度 对 图 模型 支持 的 一 个 重要 贡献 。 伴 随 着 尝试 浴 
清 偶 然 性 的 定义 ， 他 描述 了 偶然 性 的 重要 性 以 及 其 中 概率 模型 设计 的 实用 性 。 

图 模型 的 指导 介绍 包含 E. Chamiak (1991) 的 《Bayesian Networks without Tears》 和 P. Smyth 
(1997) 的 《Belief Networks, Hidden Markov Models, and Markov Random Fields: A Unifying 
View》。www. cs. ube. ca/ ~ murphyk/ Bayes/ bnintro. html#appl 包含 K. Murphy 的 《A Brief Introduc- 
tion to Craphical Models and Bayesian Networks》»， 是 这 方面 很 不 错 的 在 线 指导 ,还 有 在 
www. cs. ubc. ca/ ~ murphyk/ Bayes/bayesrule. html 给 出 了 Murphy 的 《A Brief Introduction to Bayes’ 
Rule》。 在 www. cs. engr. uky. edu/ ~ dekhtyar/ dblab/resourse. html#bnets 上 可 以 找到 一 个 更 完整 的 
指导 清单 。 

在 一 个 经 典 的 1977 年 的 论文 中 ， 由 A，Dempster、N，Laird 和 D. Rubin 解释 了 EM 算法 并 给 
出 了 这 个 名 字 。 他 们 指出 “这 种 方法 已 经 在 特殊 环境 中 被 其 他 作者 提出 了 很 多 次 ”, 但 他 们 在 
1977 年 把 这 种 方法 一 般 化 并 且 发 展 了 它 的 理论 。 

马尔 可 夫 网 络 和 动态 贝 叶 斯 网 络 的 推理 有 两 种 形式 : 一 种 是 准确 的 ， 其 中 结果 计算 开销 大 
但 证 明正 确 ; 另 一 种 是 近似 的 ， 开 销 小 但 结果 是 近似 的 ， 而 且 可 能 会 使 局 部 最 大 。 对 于 准确 的 推 
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理 参 见 S. M Aji 和 R. MeEliece (2000) 的 《The Generalized Distributive Law》 以 及 下 Kschischang 
等 (2000) 的 《Factor Graphs and the Sum Product Algorithm》。 关 于 近似 算法 见 MI Jordan 等 
(1999) 的 《An Introduction to Variational Methods for Graphical Models》、T. Jaakkola 和 M. I Jordan 
(1998) 的 《Variational Probabilistic Inference and the QMR-DT Database》 以 及 J. Yedidia 等 (2000) 
的 《Generalized Belief Propagation》。 循 环 信念 传播 是 J. Pearl (1988 ) 的 《Probabilistic Reasoning 
in Intelligent Systems : Networks of Plausible Inference》 中 描述 的 一 种 图 模型 的 近似 算法 。 

近 些 年 ， 一 阶 随机 推理 语言 各 种 形式 的 创建 已 经 形成 了 一 个 重要 的 研究 领域 。 我 们 建议 阅 
读 D. Koller 和 A. Pfeffer (1998) 的 《Probabilistic Frame-Based Systems》、N. Friedman 等 (1999) 
的 《Learning Probabilistic Relational Models》、K. Kersting 和 L. DeRaedt (2000) 的 《Baysian Logic 
Programs》、R. Ng 和 V, Subrahmanian (1992) 的 《Probabilistic Logic Programming》 以 及 Pless 等 
(2006) 的 《The Design and Testing of a First-Order Stochastic Modeling Language》。 

强化 学 习 的 重要 贡献 包括 R. S. Sutton (1988) 的 《 Learning to Predict by the method of Tempo- 
ral Differences》、R. S. Sutton 和 A. G. Barto (1998) 的 《Reinforcement Learning: An Introduction》， 
还 有 M.L Puterman (1994) 的 《Markov Decision Processes》。 

作者 希望 感谢 他 现在 和 刚 毕 业 的 学 生 特别 是 一 阶 随 机 推理 语言 循环 逻辑 (Pless et al 2006 ) 
的 创造 者 Dan Pless 、Chayan Chakrabarti (Chakrabarti et al. 2006 ) 、Roshan Rammohan 以 及 Nikita 
Sakhanenko (Sakhanenko et al 2007 ) 的 很 多 意见 、 图 表 、 例 子 和 第 13 章 的 练习 。 


13.5 习题 


1. 建立 一 个 隐 马 尔 可 夫 模 型 表示 美式 足球 游戏 的 得 分 序列 ， 其 中 ， 达 阵 6 分 ， 并 跟着 两 种 例外 情况 会 得 到 
0，1，2 额外 的 分 数 。 当 然 ， 有 两 个 队 并 且 每 个 都 能 拿 分 ， 如 果 一 队 有 球 且 不 得 分 ， 则 发 出 一 个 0。 所 
以 假设 发 出 的 得 分 流 是 6，1，6,， 0, 3, 0, 6，1, 0, 3, 0; 你 的 HMM 将 会 是 什么 样 ? 

a) 讨论 这 个 问题 以 及 最 优 的 HMM 可 能 是 什么 样 。 
b) 再 建 两 个 得 分 流 测试 你 的 HMM 。 
c) 跟踪 一 个 实际 的 比赛 ， 看 你 的 系统 预测 的 得 分 流 的 效果 如 何 。 

2. 建立 一 个 隐 马 尔 可 夫 模 型 预测 美国 棒球 游戏 的 半 局 分 数 序列 。 假 设 半 局 序列 是 0, 0, 0, 1, 0, 1, 1， 
2, 2, 0, 0, 0, 0, 2, 0, 0，0,，0。 为 简单 起 见 ， 对 于 每 一 队 限 制 得 分 0，1，2 在 半 局 击 打 中 。 

a) 当 人 允许 每 半 局 任何 时 间 段 的 数量 时 ， 怎 样 变 换 这 个 模型 ? 
b) 怎样 训练 这 个 系统 来 得 到 更 实际 的 得 分 值 ? 

3. 建立 一 个 图 表示 13. 1. 2 节 中 分 层 隐 马尔 可 夫 模 型 。HHMM 可 能 适合 哪 种 问题 情形 类 型 ? 讨论 适用 HMM 
结构 的 应 用 领域 的 问题 。 

4. 给 定 一 个 Viterbi 算法 的 例子 ， 处 理 图 13-7 和 13-8 的 概率 有 限 状态 机 : 

a) 在 观测 到 的 语音 中 ， 为 什么 new 被 看 作 是 比 knee 好 的 解释 ? 
b) 在 概率 有 限 状 态 机 中 是 怎样 处 理 状 态 机 中 Viterbi 算法 的 交替 的 ， 例如， 在 单词 new 中 对 语音 uw 和 
iy 的 语音 选择 ? 

5. 给 出 9.3.6 节 的 隐 马 尔 可 夫 模型 和 Viterbi 算法 执行 的 全 过 程 ， 包 括 合适 的 后 向 指针 的 设置 ， 给 出 观测 #， 
n，iy，t，# 如 何 被 处 理 。 

6. 手动 运行 13. 3. 3 节 描 述 的 马尔 可 夫 决 策 过 程 中 的 机 器 人 。 在 决策 过 程 中 ， 使 用 相同 的 回报 机 制 并 为 a 
和 bb 选择 概率 值 。 

再 次 以 不 同 的 值 a 和 b 运行 机 器 人 。 什 么 决策 能 给 机 器 人 最 好 的 回报 机 会 ? 

7. 用 你 选择 的 语言 给 13. 3. 3 节 中 机 器 人 支持 的 MDP 编程 。 用 不 同 的 a 值 和 bb 值 对 优化 回报 进行 试验 。 有 
几 个 有 趣 的 可 能 策略 : 如 果 充 电 (recharge) 是 A(high) 的 一 个 决策 ， 你 的 机 器 人 能 学 习 这 个 决策 是 次 优 
的 吗 ? 在 什么 情形 下 机 器 人 总 搜索 空 易 拉 钠 ， 即 A(low) = recharge 的 决策 是 次 优 的 吗 ? 
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Jack 是 卖 车 的 ， 他 寻找 最 大 化 利润 的 方式 。 每 周 Jack 订 一 批 车 ， 每 辆 车 d 美元 。 这 些 车 立即 交付 。 库 存 
中 加 入 新 车 。 然 后 每 个 星期 ， 他 以 每 台 c 美元 的 价格 随机 卖 掉 k 辆 车 。Jack 也 要 给 他 的 库存 中 没有 卖 掉 
的 车 花山 美元 /每 台 。 用 马尔 可 夫 决策 过 程 形式 化 这 个 问题 。 状 态 和 动作 是 什么 ? 回报 是 多 少 ? 转换 概 
率 是 多 少 ? 描述 长 期 回报 。 

9. 考虑 一 般 领 域 中 方 格 环境 巡航 任务 ， 其 中 有 一 个 目标 状态 、 多 个 障碍 和 一 个 折扣 因子 y<1。 动 作 是 随机 
的 ， 智 能 体 尝试 移动 时 可 能 调 到 不 同 的 单元 。 智 能 体 有 五 个 可 能 的 动作 : 向 北 、 向 南 、 向 东 、 向 西 ， 或 
停留 在 相同 的 位 置 。 考 虑 捷 墙 时 发 生 负 花 销 的 情形 。 你 能 画 出 一 个 3 * 3 的 例子 环境 ， 其 中 最 好 的 动作 
中 至 少 有 一 个 状态 是 停留 吗 ? 如 果 能 ,那么 给 出 具体 的 动作 、 回 报 和 转换 概率 。 如 果 不 能 ， 请 解释 
原因 。 

10. 当 我 们 外 出 就 餐 时 ， 经 常 喜欢 在 离 餐 馆 近 的 地 方 停 车 。 假 设 餐馆 在 东西 向 的 长 街 上 ， 长 街 只 允许 在 一 
边 停车 ， 而 且 街道 上 有 划分 好 的 停车 位 。 我 们 从 餐馆 东边 的 D 区 开始 驶 向 餐馆 ， 在 有 距离 餐馆 s 远 的 地 
方 有 未 占用 的 停车 位 的 概率 是 pe， 独 立 于 所 有 停车 位 。 以 马尔 可 夫 决策 过 程 形 式 化 这 个 问题 。 确 定 具 
体 MDP 中 的 所 有 元 素 ! (改编 自 Puterman 1994) 

11. 如 何 把 13. 3 节 的 MDP 表示 换 成 POMDP? 把 简单 的 机 器 人 问题 和 13. 3. 3 节 中 为 其 建立 的 马尔 可 夫 转 换 
矩阵 ， 变 成 POMDP。 提 示 : 考虑 使 用 部 分 可 观测 的 状态 概率 和 矩阵。 

12. 在 13. 3 节 中 我 们 简单 讨论 了 扑克 游戏 。 给 定 一 个 玩家 现在 的 (概率 ) 状态 是 good bet、questionable 
bet 或 者 bad bet， 求 解 一 个 POMDP 来 表示 这 个 情形 。 从 概率 角度 来 考虑 如 何 应 对 对 手 。 

13. 计算 给 POMDP 问题 完全 找到 最 优 策 略 的 复杂 性 开销 。 
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精确 并 不 等 于 完全 的 真实 ……. 











一 一 亨利 . 马 蒂 斯 
现在 的 时 间 和 过 去 的 时 间 也 许 都 存在 于 未 来 的 时 间 ， 而 未 来 的 时 间 又 包容 了 过 去 的 时 间 ……… 
一 —T. S. 艾 略 特 ,《 燃 烧 的 诺 额 》 


本 每 一 种 大 的 模式 的 形成 都 是 一 系列 小 动作 积累 的 结果 。 
一 一 克 里 斯 托 夫 ，。 亚历山大 


自动 推理 和 自然 语言 


第 五 部 分 讲述 人工 智能 的 两 个 重要 应 用 ;自然 语言 理解 和 自动 推理 。 如 果 想 创造 人 工 智能 ， 
一 定 要 提 及 语言 、 推 理 和 学 习 。 这 些 问 题 的 解决 方法 是 基于 本 书 前 面 章节 中 介绍 过 的 技术 和 工 
具 。 同 时 ， 因 为 这 些 问 题 的 重要 性 ， 它 们 也 推动 了 这 些 工具 以 及 整个 人 工 智能 的 发 展 。 

在 第 三 部 分 的 介绍 中 ， 我 们 讨论 了 弱 方 法 问题 求解 器 的 应 用 。 使 用 弱 方法 的 问题 包括 搜索 
空间 的 复杂 性 和 使 用 通用 表示 法 来 表示 领域 中 特殊 知识 方面 的 困难 。 尽 管 专家 系统 和 类 似 的 强 
方法 求解 器 取得 了 很 大 成 功 ， 但 许多 领域 中 仍然 需要 通用 方法 ; 实际 上 ， 专 家 系统 的 控制 策略 也 
依赖 于 好 的 弱 问 题 求解 方法 。 自 动 推理 或 定理 证 明 组 织 在 弱 方 法 问题 求解 器 方面 一 直 给 出 了 大 
量 有 益 的 工作 。 这 些 技术 应 用 于 许多 重要 领域 中 ， 包 括 集成 电路 设计 和 验证 、 程 序 正确 性 证 明 以 
及 间接 的 Prolog 语言 的 创建 。 第 14 章 将 围绕 自动 推理 进行 介绍 。 

自然 语言 理解 已 经 证 明 是 人 工 智能 领域 中 一 项 非常 困难 的 任务 。 原 因 有 很 多 ， 最 重要 的 是 
支持 使 用 语言 所 需要 的 知识 、 能 力 和 经 验 的 数量 。 成 功 的 语言 理解 需要 理解 自然 世界 、 人 类 心理 
和 社会 习俗 ， 这 就 需要 使 用 与 逻辑 推理 和 类 比 解释 完全 不 同 的 技术 。 由 于 人 类 语言 的 复杂 性 和 
模糊 性 ， 自 然 语 言 理解 推动 了 知识 表示 方面 的 大 量 研究 。 虽 然 到 目前 为 止 ， 这 些 努力 只 取得 了 部 
分 成 功 ， 但 是 运用 基于 知识 的 方法 ， 研 究 人 员 成 功 开发 出 了 能 够 理解 特定 领域 中 自然 语言 的 程 
序 。 然 而 这 些 技术 能 否 解决 语言 理解 问题 仍然 是 一 个 有 争议 的 问题 。 

第 7 章 中 提 到 的 表示 技术 ， 如 语义 网 、 脚 本 和 框架 一 直 支配 着 自然 语言 方面 的 早期 人 工 智能 
工作 。 最 近 ， 语 言 模式 的 相关 性 分 析 在 语言 理解 中 占有 重要 的 地 位 。 语 言 表达 不 是 声音 和 单词 的 
随机 组 合 ， 而 是 具有 一 定 模式 。 贝 叶 斯 技术 可 以 为 这 些 语言 结构 建 模 。 第 13 章 介绍 的 几 种 模型 
包括 2-gram 和 3-gram， 对 于 理解 语言 音素 和 单词 结合 非常 重要 。 第 15 章 将 介绍 自然 语言 理解 中 
的 基于 知识 的 语法 、 语 义 和 随 机 技术 。 

随 着 万 维 网 的 发 展 和 人 们 对 搜索 引擎 的 使 用 ， 自 然 语言 处 理 变 得 更 加 重要 。 文 本 挖 折 (或 者 称 
为 无 结构 文本 中 有 用 信息 的 通用 搜索 ) 和 信息 摘要 (或 者 称 为 “理解 ”文本 和 抽取 关键 事件 ) 都 
是 重要 的 新 技术 。 第 15 章 将 介绍 这 些 软件 工具 的 基础 : 基于 符号 模式 识别 和 随机 模式 识别 。 

最 后 ， 本 书 的 补充 材料 中 给 出 了 许多 支持 自然 语言 理解 的 数据 结构 ， 包 括 用 Prolog、LISP 和 Java 
实现 的 语义 网 和 框架 系统 ， 还 用 Prolog 和 Java 创建 了 一 个 递归 下 降 语义 网 解析 器 和 一个 基于 Earley 算 
法 与 动态 规划 的 解析 器 。 第 16 章 讨论 了 目前 语言 理解 、 学 习 和 复杂 问题 求解 中 的 一 些 局 限 性 。 


第 14 章 自动 推理 


对 于 何以 可 能 ， 教 锐 的 人 说 : 当 给 我 一 个 概念 时 ， 我 能 够 联想 到 更 多 ， 并 把 它 和 另外 一 些 不 
包括 在 内 的 概念 联系 起 来 。 用 这 种 方式 ， 好 像 后 者 必定 属于 前 者 ? 
一 一 伊 曼 纽 尔 . 康德 ,“ 未 来 形而上学 导论 " 


任何 理性 决定 都 可 以 看 作 是 从 特定 前 提 得 到 的 结论 …-… 如 果 一 个 理性 的 人 把 他 的 决策 建立 
在 他 为 自己 规定 的 重要 的 和 实际 前 提 的 基础 上 ， 那 么 他 的 行为 是 能 够 被 控制 的 。 
一 一 西蒙 , 《决策 和 行政 组 织 》，1944 
推理 是 一 门 艺术 ， 而 不 是 一 门 科 学 …… 
一 一 Wos 等 , 《自动 推理 》，1984 


14.0 定理 证 明 中 的 弱 方 法 


Wos 等 (1984) 将 自动 推理 程序 描述 为 “使 用 明确 而 严格 的 符号 表示 信息 ， 用 精确 的 推理 
规则 做 出 结论 ， 以 及 用 仔细 描述 的 策略 控制 这 些 推理 规则 ”的 程序 。 他 们 还 认为 将 策略 应 用 到 
推理 规则 推出 新 信息 的 方法 是 一 门 艺术 :“ 好 的 表示 法 包括 能 够 增加 求解 问题 机 会 的 符号 和 虽然 
不 必要 但 是 有 帮助 的 信息 。 好 的 推理 规则 要 与 所 选 表示 法 哮 合 良好 。 好 的 策略 要 能 够 以 急剧 提 
高 推理 程序 效率 的 方式 控制 推理 规则 。” 

自动 推理 使 用 问题 求解 的 弱 方 法 。 它 通常 使 用 一 种 统一 的 表示 法 ， 如 一 阶 谓词 演算 ( 见 第 2 
章 ) 、Hom 子 句 演算 ( 见 14.3 节 ) 或 者 归结 用 的 子 句 形式 ( 见 14. 2 节 ) 。 其 推理 规则 是 可 靠 的 ， 
如 果 可 能 的 话 ， 它 也 是 完备 的 。 它 使 用 通用 策略 (如 宽度 优先 、 深 度 优先 或 者 最 佳 优先 搜索 ) 
和 本 章 中 将 提 到 的 启发 式 方法 (如 成 组 支持 策略 和 单个 优先 策略 ) 来 对 付 穷 举 搜索 中 的 组 合 爆 
炸 问 题 。 设 计 搜索 策略 ， 特 别 是 启发 式 搜索 策略 ， 更 像 是 一 门 艺术 ; 我 们 无 法 保证 这 些 策 略 能 只 
使 用 合理 数量 的 时 间 和 内 存 就 为 一 个 问题 找到 一 个 有 用 解 。 

问题 求解 弱 方 法 是 一 个 重要 的 工具 ， 同 时 也 是 问题 求解 强 方法 的 本 质 基础 。 产 生 式 系统 
和 基于 规则 的 专家 系统 外 壳 都 是 弱 方 法 问题 求解 的 例子 。 虽 然 产 生 式 系统 和 基于 规则 的 专家 
系统 的 规则 中 使 用 了 强 问 题 求 解 启发 式 ， 但 是 其 实现 仍然 依赖 于 通用 〈 弱 方法 ) 推理 策略 的 
支持 。 

问题 求解 弱 方 法 的 技术 从 一 开始 就 是 人 工 智 能 研究 的 焦点 。 这 些 技术 通常 都 列 在 定理 

证 明 这 个 标题 下 ， 但 我 们 推荐 使 用 更 加 通用 的 名 称 自动 推理 。 本 章 以 一 个 早期 的 自动 
推理 的 例子 开始 ( 见 14.1 节 )， 即 通用 问题 求解 器 ， 它 使 用 手段 - 目的 分 析 和 差别 表 来 控 
制 搜索 。 ， 
14. 2 节 介 绍 自 动 推理 研究 中 的 一 个 重要 成 果 一 一 归结 反驳 ( 反 演 ) 系统 (resolution refuta- 
tion system) 。 我 们 将 讨论 归结 定理 证 明 中 使 用 的 表示 语言 、 归 结 推理 规则 、 搜 索 策 略 和 解答 抽 
取 过 程 。 作 为 Hom 子 句 推理 的 例子 ,在 14. 3 节 中 讨论 Prolog 的 推理 引擎 ， 并 且 用 一 个 基于 归结 
定理 证 明 程 序 的 解释 器 说 明 Prolog 语言 如 何 推动 说 明 性 程序 设计 哲学 。 我 们 用 对 自然 演绎 、 等 
式 处 理 和 更 复杂 推理 规则 的 一 些 简要 解释 来 结束 本 章 〈 见 14.4 节 )。 
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14. 1 通用 问题 求解 器 和 差别 表 


通用 问题 求解 器 (General Problem Solver，GPS) (Newell and Simon 1963b; Ernst and Newell 
1969) 由 Allen Newell 和 Herbert Simon 在 卡 内 基 - 梅 隆 大 学 和 后 来 的 卡 内 基 研 究 所 开发 出 来 。 其 
根源 可 以 追溯 到 早期 Newell、Shaw 和 Simon (Newell and Simon 1963a) 开发 的 被 称 为 逻辑 理论 
家 (Logic Theorist，LT) 的 计算 机 程序 。LT 程序 证 明了 Russell 和 Whitehead 的 《数学 原理 》 
(Whitehead and Russell 1950) 中 的 许多 定理 。 

与 所 有 纶 方法 问题 求解 器 一 样 ， 逻 辑 理论 家 使 用 了 统一 的 表示 法 和 可 靠 的 推理 规则 ， 并 应 
用 了 几 个 策略 或 启发 式 方法 来 指导 求解 过 程 。 逻辑 理论 家 使 用 命题 演算 ( 见 2.1 节 ) 作为 其 表 
示 法 。 推 理 规 则 是 代 换 、 置 换 和 分 离 。 

代 换 使 得 在 任意 表达 式 中 ， 公 理 或 者 证 明 为 真 的 定理 中 的 一 个 符号 可 以 被 代 换 。 例 如 ，(BV 
B) 一 B 中 可 以 用 -A 代 换 B 得 到 (= AV- A) 一 ” A。 

置换 使 得 连接 词 可 以 置换 为 其 定义 或 者 等 价 的 形式 。 例 如 ，- AVB 和 A 一 B 是 逻辑 等 价 的 ， 
所 以 (= AV 一 A) 可 以 置换 为 (A 一 =- A)。 

分 离 是 称 为 取 式 假 言 推理 (modus ponens) ( 见 第 2 章 ) 的 推理 规则 。 

逻辑 理论 家 以 宽度 优先 、 目 标 驱动 的 方式 将 这 些 推理 规则 应 用 到 要 证 明 的 定理 中 ， 用 于 尝 
试 找到 一 系列 操作 ， 最 终 可 以 推导 到 公理 或 已 知 为 真 的 定理 。 逻 辑 理论 家 使 用 的 策略 包括 组 织 
在 一 个 可 执行 程序 中 的 四 个 方法 : 

。 第 一 个 ， 直 接 将 代 换 方法 应 用 到 当前 目标 ， 尝试 与 已 知 的 所 有 公理 和 定理 匹配 。 

。 第 二 个 ， 如 果 没 有 推出 证 明 ， 那 么 将 所 有 可 能 的 分 离 和 置换 应 用 到 目标 ， 然 后 再 用 代 换 

方法 测试 每 个 结果 是 否 成 功 。 如 果 代 换 方法 无 法 将 这 些 结 果 与 目标 进行 匹配 ， 那么 将 它 
们 加 入 到 子 问 题 列 表 中 。 

。 第 三 个 ， 应 用 链 式 方法 寻找 新 的 子 问 题 ， 即 利用 蕴涵 传递 性 。 如 果子 问题 能 够 解决 ， 那 
么 也 能 够 提供 一 个 证 明 。 因 此 ， 如 果 a 一 c 是 要 证 的 问题 ， 而 且 已 知 b 一 C， 那么 可 以 将 a 
一 b 设置 为 一 个 新 的 子 问题 。 

。 第 四 个 ， 如 果 对 最 初 的 问题 应 用 上 述 三 种 方法 都 失败 ， 那么 转 到 子 问题 列表 ， 选 择 下 一 
个 没有 尝试 过 的 子 问题 。 

可 执行 程序 不 断 地 应 用 这 四 个 方法 ， 直 到 找到 解 、 子 问题 列表 为 空 或 者 分 配 的 内 存 和 时 间 
用 尽 。 按 照 这 种 方式 ， 逻辑 理论 家 对 问题 空间 执行 目标 驱动 的 宽度 优先 搜索 。 

可 执行 程序 中 使 代 换 、 置 换 和 分 离 推理 规则 生效 的 部 分 是 匹配 过 程 。 假 设 我 们 要 证 明 p 一 
(q>p) 。 首 先 ， 匹 配 过 程 确定 一 条 公理 p_*(qV p) 是 最 合适 的 ， 即 从 领域 定义 的 差别 来 看 匹配 是 
最 接近 的 ， 因为 主要 的 连接 词 一 在 两 个 表达 式 中 是 相同 的 。 然 后 ， 匹配 过 程 确 认 主 连接 词 左 边 的 
表达 式 是 相等 的 。 最 后 ， 匹配 过 程 识别 主 连接 词 右 边 表达 式 的 差别 。 一 和 V 之 间 的 差别 很 明显 地 
引出 证 明定 理 所 需 的 置换 。 匹配 过 程 帮助 控制 应 用 所 有 代 换 、 置 换 和 分 离 所 必须 的 ( 穷 举 ) 搜 
索 。 实 际 上 ， 匹配 过 程 排除 了 足够 多 的 尝试 和 错误 ， 使 得 逻辑 理论 家 成 为 一 个 成 功 的 问题 求 
解 器 。 

有 逻辑 理论 家 证 明 的 一 个 例子 显示 了 匹配 过 程 的 威力 。 《数学 原理 》 (Principia Mathematica ) 
中 的 定理 2.02 是 p_(q->p) 。 匹 配 发 现 公理 p>(qV Pp) 最 适合 的 置换 。~ 9 到 9 的 代 换 就 证 明了 
该 定理 。 匹 配 以 及 对 代 换 和 置换 规则 的 控制 直接 证 明了 该 定理 ， 而 没有 对 其 他 公理 或 定理 的 任 
何 搜索 。 
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男 一 个 例子 ， 假 设 我 们 希望 逻辑 理论 家 证 明 : 
(p 一 ”中 一 ”pp 


1) (AV A)—A 匹配 过 程 确 定 5 个 公理 中 最 "好 ”的 。 

2) (” AVn 及 一 ” A 用 -A 代 换 A, 以 便 应 用 从 V 和 - 到 -的 置换 ,然后 用 p 代 换 A。 

3) (A—- A)—— A 

4) (pm P)— P 

证 毕 
最 初 的 逻辑 理论 家 使 用 5 条 公理 用 大 约 10 秒 钟 证 明了 这 一 定理 。 实 际 证 明 只 需要 两 步 ， 不 需要 
搜索 。 匹 配 过 程 第 一 步 选择 最 合适 的 公理 ， 因 为 其 形式 与 要 建立 的 结论 最 相似 ; (表达 式 ) 命 
题 。 然 后 用 ~ A 代 换 A。 这 样 使 得 第 二 步 的 置换 和 最 后 一 步 可 以 进行 ， 因 为 目标 需要 的 是 -、， 而 
不 是 V。 

逻辑 理论 家 不 仅 是 自动 推理 系统 的 第 一 个 例子 ， 而 且说 明了 搜索 策略 和 启发 式 方法 在 推理 
程序 中 的 重要 性 。 在 许多 实例 中 ， 逻 辑 理论 家 用 很 少 的 步骤 就 能 找到 穷 举 搜索 可 能 永远 无 法 找 
到 的 答案 。 有 些 定理 用 逻辑 理论 家 无 法 证 明 ，Newell 等 人 指出 了 对 此 类 问题 可 能 的 改进 。 

大 约 在 同一 时 间 ， 卡 内 基 的 研究 人 员 和 另外 一 些 耶鲁 的 研究 人 员 ( Moore and Anderson 1954) 
开始 考察 求解 逻辑 问题 的 人 类 主体 的 思考 - 发 声 (think-aloud) 协议 。 昌 然 最 初 的 目标 是 确定 能 
够 解决 这 类 问题 的 人 类 过 程 ， 但 是 研究 人 员 却 开始 比较 人 类 与 计算 机 程序 (如 逻辑 理论 家 ) 解 
决 问题 方法 的 不 同 。 这 成 为 现在 所 谓 的 信息 处 理 心 理学 的 首 个 实例 ， 基 本 思想 是 生物 体 的 可 观 
察 行为 是 由 生成 行为 的 原始 信息 处 理 程序 提供 的 〈Newell et al. 1958) 。 这 一 研究 也 是 现代 认 知 科 
学 〈 见 16.2 节 ，Luger 1994) 的 一 些 竟 基 性 工作 。 

对 这 些 协议 的 仔细 推荐 显示 出 逻辑 理论 家 解 题 与 人 类 有 许多 不 同 。 人 类 行为 被 证 明 是 显示 
出 匹配 和 差别 减 小 机 制 的 ， 称 为 手段 - 目的 分 析 。 在 手段 - 目的 分 析 方 法 中 ,差别 减 小 方法 
(手段 ) 与 要 减 小 的 差别 (目的 ) 密切 相关 : 差别 减 小 操作 按照 能 够 减 小 的 差别 分 类 。 

在 一 个 非常 简单 的 例子 中 ， 若 开始 状态 为 p 一 9， 目 标 是 - 9V q， 那 么 差别 包括 开始 的 - 符 
号 和 目标 的 V 的 差别 ， 以 及 开始 的 p 和 目标 ~ 9q 的 差别 。 差 别 表 中 包含 将 一 置换 为 V 以 及 去 掉 - 
的 各 种 不 同 的 方法 。 可 以 一 次 尝试 一 个 变换 ， 直 到 差别 都 消除 ， 定 理 被 证 明 。 

在 最 有 意思 的 问题 中 ， 开 始 和 目标 之 间 的 差别 无 法 直接 减 小 。 这 种 情况 下 ， 先 寻找 一 个 能 够 
部 分 减 小 差别 的 操作 。 整 个 过 程 递 归 地 应 用 到 这 些 结 果 ， 直 到 不 存在 差别 。 这 可 能 还 需要 下 面 不 
同 的 搜索 路 径 ， 用 减 小 差别 的 不 同 应 用 来 表示 。 

图 14-1a 取 自 Newell 和 Simon (1963b) ， 它 包含 了 12 条 转换 规则 ， 中 间 一 列 是 要 解决 的 逻辑 
问题 ， 右 边 一 列 给 出 何 时 应 用 这 些 转换 的 指示 。 

图 14-1b 显示 了 由 一 个 人 类 主体 产生 的 一 个 证 明 ， 该 证 明 取 自 Newell 和 Simon (1963b) 。 证 
明 前 ， 图 14-1a 中 的 转换 规则 提供 给 人 类 主体 ， 人 类 主体 没有 形式 逻辑 的 经 验 ， 要 求 他 将 (RD 
”P)'(”R2OQ) 变 换 为 ”(” Q' P)。 在 第 2 章 的 符号 中 ，~ 是 ~ ，. 是 和 人，D 是 一 。 图 14-1a 
中 的 一 和 全 表 示 合 法 的 置换 。 图 14-1b 中 最 右边 的 一 列表 示 证 明 过 程 中 每 一 步 应 用 的 图 14-1a 中 
的 规则 。 

Newell 和 Simon (1963b) 将 人 类 主体 的 问题 求解 策略 称 为 差别 减 小 ， 把 使 用 适当 的 转换 减 
小 特定 问题 差别 的 通用 过 程 称 为 手段 ~ 目的 分 析 。 使 用 差别 减 小 应 用 手段 - 目的 分 析 的 算法 是 
通用 问题 求解 器 。 
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1. A.B 一 B.A 


AvB_ BVA 只 应 用 于 主 表达 式 






. ADB—~Bo~A 
只 应 用 于 主 表达 式 
3. A:AOOA 


AvAOA A 和 B 是 两 个 主 表达 式 


A:(B-:C OA.B).C 


Av(BvCe>(AvB)vC A 和 AB 是 两 个 主 表达 式 








. AvB © ~(~A.~B) 


阳 间 
Un 


ADBO~AvB 


7. A:(BvCey(A:.B)v(A.C) 


AvGB.CIe(AvB).(AvC) 
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A.B— A 


A.B_3B 只 应 用 于 主 表达 式 
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A—AvX 
只 应 用 于 主 表达 式 


AS} 一 A.B 
A 和 B 是 两 个 主 宪 达 式 







ASB 
全 3 中 一 A>c 


A 一 卫 
加 AB} A 和 A 汪 B 是 两 个 主 表达 式 


A 有 DB 和 BC 是 两 个 主 表 达 式 





图 14-1a 逻辑 问题 的 转换 规则 
[摘自 Newell 和 Simon (1961) ] 


图 14-2 显示 了 通用 问题 求解 器 的 控制 图 和 连接 表 。 目 标 是 将 表达 式 A 转化 为 表达 式 B。 第 一 
步 是 定位 A 和 B 之 间 的 差别 D。 第 一 行 第 二 个 框 中 确定 了 子 目 标 : 减 小 D; 第 三 个 框 表 示 差 别 减 小 
是 递归 的 。“ 减 小 ”在 第 二 行进 行 ， 它 为 差别 D 确定 了 操作 符 Q。 实 际 上 ， 从 连接 表 中 确定 的 
是 一 个 操作 符 列表 。 当 前 选择 的 操作 符 无 法 执行 时 (例如 没有 通过 可 行 性 检测 )， 这 个 列表 根 
据 为 减 小 差别 提供 了 一 个 选择 顺序 例如， 在 图 14-2 的 第 三 行 ， 操 作 符 执行 完成 ，D 被 减 小 。 

通用 问题 求解 模型 需要 两 个 组 成 部 分 。 第 一 个 是 刚刚 提 到 的 通用 过 程 ， 负 责 比 较 两 个 状态 
描述 并 减 小 它们 的 差别 。 第 二 个 是 连接 表 ， 给 出 问题 差别 和 减 小 它们 的 特定 转换 之 间 的 链接 ， 它 
只 适用 于 特定 领域 。 图 14-2 给 出 了 命题 演算 表达 式 的 差别 及 其 减 小 方法 (图 14-1a 中 的 12 条 转 
换 规则 ) 。 其 他 连接 表 还 有 : 用 于 减 小 代数 式 中 的 差别 的 ， 用 于 像 汉 庶 塔 这 样 的 任务 的 ， 或 者 用 
于 像 国 际 象棋 这 样 的 更 复杂 的 博弈 问题 的 。 由 于 差别 表 的 模块 化 ， 例 如 ， 表 格 根据 不 同 的 应 用 进 
行 修改 ,这 个 问题 求解 器 称 为 一 般 化 。Emst 和 Newell (1969) 论述 了 通用 问题 求解 技术 的 许多 
不 同 应 用 领域 。 
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规则 6 应 用 于 1 的 左边 
规则 8 应 用 于 1 
规则 6 应 用 于 4 


(RYv~P:(RYvQ 规则 10 应 用 于 5 和 7 


规则 2 应 用 于 4 





图 14-1b 命题 演算 中 的 一 个 定理 证 明 
[摘自 Newell 和 Simon (1961)] 


问题 领域 中 不 同 差别 减 小 结构 化 方法 对 组 织 该 领域 中 的 搜索 很 有 帮助 。 在 差别 减 小 表 中 转 
换 规 则 的 顺序 中 蕴涵 了 减 小 不 同 差别 类 的 启发 式 或 优先 级 顺序 。 这 种 优先 级 顺序 可 以 将 通用 转 
换 规则 放 在 特殊 转换 规则 之 前 ， 也 可 以 按照 领域 专家 认为 最 合适 的 顺序 给 出 。 

许多 研究 方向 由 通用 问题 求解 器 方面 的 工作 发 展 而 来 。 其 中 之 一 是 使 用 人 工 智能 技术 分 析 
人 类 的 问题 求解 行为 。 需 要 特别 指出 的 是 ， 产 生 式 系统 代替 了 通用 问题 求解 的 手段 - 目的 方法 ， 
成 为 人 类 信息 处 理 建 模 的 首选 形式 〈 见 第 16 章 )。 现 代 基 于 规则 的 专家 系统 的 产生 式 规则 取代 
了 通用 问题 求解 差别 表 中 的 特定 条 目 〈 第 8 章 ) 。 

在 通用 问题 求解 的 另 一 个 有 意思 的 演变 中 ， 差 别 表 变 成 用 于 规划 的 操作 符 表 ， 如 STRIPS 和 
ABSTRIPS。 规 划 在 机 器 人 问题 求解 中 非常 重要 。 机 器 人 要 完成 一 项 任务 ， 如 到 隔壁 房间 拿 回 一 
件 东西 ， 计 算 机 必须 生成 一 个 规划 。 该 规划 安排 机 器 人 的 行动 : 放下 现在 拿 着 的 所 有 东西 ， 穿 过 
房 门 ， 走 到 要 拿 的 东西 旁边 ， 等 等 。STRIPS (斯 坦 福 研究 所 问题 求解 器 ，Fikes and Nilsson 1971 ， 
Fikes et al. 1972 ，Sacerdotti 1974) 的 规划 构成 中 使 用 一 个 与 通用 问题 求解 差别 表 类 似 的 操作 符 
表 。 表 中 的 每 个 操作 符 〈 机 器 人 的 基本 动作 ) 具有 相应 的 前 置 条 件 ， 这 与 图 14-2 中 的 可 行 性 检 
查 非常 相似 。 操 作 符 表 还 包含 增加 和 删除 列表 ， 人 负责 在 操作 符 应 用 后 更 新 “世界 ”模型 。 在 7.4 
节 介绍 了 一 个 类 STRIPS 规划 器 ， 并 在 补充 软件 材料 中 用 Prolog 实现 了 。 

总 而 言 之 ， 人 工 智能 中 的 第 一 个 自动 推理 模型 在 卡 内 基 研 究 所 开发 的 逻辑 理论 家 和 通用 问 
题 求解 器 中 构建 。 这 些 程序 为 问题 求解 弱 方 法 提供 了 所 有 必 备 条 件 : 统一 的 表示 法 、 可 靠 的 推理 
规则 集合 以 及 应 用 这 些 规则 的 方法 或 策略 集合 。 相 同 的 组 成 部 分 构成 了 归结 证 明 过 程 ， 这 是 自 
动 推理 的 更 先进 更 有 力 的 基础 。 





目标 : 将 对 象 A 转 换 为 对 象 B 


将 A 与 B 匹 配 
以 找 出 差别 D 
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成 功 
| 于 日 标 : 城 修 D | 减 小 DD ER 站 换 为 .成 功 
fail fail 
成 功 


目标 : 减 小 对 象 A 和 对 象 B 之 间 的 差别 D 


可 行 性 测试 
(初步)_ 











子 目 标 : 减 小 D 上 A 


fail 


人 


对 于 文本 的 逻辑 任务 : 
可 行 性 测试 (初步 ) 
次 介 汰 全 疯 二 相同 的 吗 (例如 ， A… B 一 B 对 PVQ 失 效 ) 
操作 符 太 大 吗 ( 例如 ,A 一 B) . (AVC) 一 AV (B . C) 对 p . Q 失 效 ) ? 
操作 符 太 容易 吗 ( 例如 ，A 一 A， A 可 应 用 于 任何 情况 )?  . 
限制 条 件 被 满足 了 吗 (例如 ， R8 只 应 用 于 主 表 达 式 ) ? 


连接 表 
增加 条 目 R1 R2 R3 R4 R5 R6 R7 R8 R9R10R11R12 








X 表 示 : 规则 的 某 个 变量 是 相关 的 。GPS 将 挑选 合适 的 变量 。 


图 14-2 通用 问题 求解 程序 的 流程 图 和 差别 减 小 表 
[摘自 Newell 和 Simon (1963b) ] 


14.2 归结 定理 证 明 


14.2.1 概述 


归结 是 命题 演算 或 谓词 演算 中 的 一 种 定理 证 明 技 术 ， 从 20 世纪 60 年 代 中 期 开始 成 为 人 工 智 
能 问题 求解 研究 的 一 部 分 (Bledsoe 1977 ，Robinson 1965 ，Kowalski 1979b) 。 归 结 是 一 个 可 靠 的 推 
理 规则 ， 当 用 来 生成 一 个 反驳 〈 见 14.2.3 节 ) 时 ， 归 结 又 是 完备 的 。 在 一 个 重要 的 实际 应 用 
中 ,归结 定理 证 明 (特别 是 归结 反 驶 系统 ) 使 得 目前 的 Prolog 解释 器 成 为 可 能 〈( 见 14.3 节 )。 

归结 原理 是 Robinson (1965 ). 在 一 篇 重要 的 论文 中 提出 的 ， 是 一 种 使 用 最 少 代 换 在 子 句 数据 
库 中 发 现 矛盾 的 方法 。 归 结 反 驶 通过 将 要 证 明 的 命题 取 反 并 将 此 取 反 后 的 目标 加 入 到 已 知 为 真 
的 公理 集合 中 来 证 明定 理 。 然 后 使 用 推理 的 归结 规则 说 明 这 将 导致 矛盾 。 如 果 定 理 证 明 程序 说 
明 目 标 的 反 与 给 定 的 公理 集合 不 一 致 ， 那 么 就 证 明 原来 的 目标 是 一 致 的 。 这 样 就 证 明了 定理 。 

归结 反驳 证 明 包括 以 下 步 又 ; 

1) 将 前 提 或 公理 转化 为 子 名 形式 〈 见 14.2.2 节 ) 。 
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2) 将 要 证 明 的 命题 取 反 ， 转 化 为 子 句 形式， 加 入 公理 集合 。 

3) 归结 这 些 子 句 ， 生 成 可 以 从 人 逻辑 上 推导 出 的 新 子 名 ( 见 14.2.3 节 )。 

4) 通过 生成 空子 句 得 出 矛盾 。 

5) 用 来 得 出 空子 句 的 代 换 是 那些 使 得 取 反 后 的 目标 的 反 ( 即 最 初 要 证 明 的 ) 为 真 的 代 换 
( 见 14.2.4 节 )。 

从 第 2 章 得 出 ， 归 结 是 一 条 可 靠 的 推理 规则 。 然 而 ， 却 是 不 完备 的 。 归 结 是 反驳 完备 的 ， 即 
无 论 子 句 集中 是 否 存在 矛盾 ， 总 可 以 得 到 空子 句 。 我 们 将 在 14. 2. 4 节 中 介绍 反 驶 策略 时 对 其 进 
行 更 多 的 探讨 。 

归结 反驳 证 明 要 求 将 公理 和 目标 的 反 化 为 一 种 正规 的 形式 ， 称 为 子 句 形式 。 子 句 形 式 将 多 
辑 数 据 库 表示 为 文字 的 析 取 的 集合 。 文 字 是 一 个 原子 表达 式 或 原子 表达 式 的 反 。 

归结 的 最 一 般 形式 称 为 二 元 归结 。 当 两 个 子 句 中 一 个 包含 一 个 文字 ， 另 一 个 包含 该 文字 的 
反 时 ， 就 可 以 应 用 二 元 归结 。 如 果 文 字 中 包含 变量 ， 必 须 将 其 合 一 ， 使 它们 等 价 。 接 着 生成 一 个 
包含 两 个 子 句 中 除 该 文字 和 该 文字 的 反之 外 的 所 有 谓词 的 析 取 组 成 的 新 子 句 ， 称 其 被 “归结 
掉 ”。 产 生 的 子 句 要 进行 使 得 谓词 及 其 反 可 以 被 视 为 “等 价 ”的 合 一 代 换 。 

在 接 下 来 进行 更 详细 的 讨论 之 前 ， 我 们 来 看 一 个 简单 的 例子 。 归 结 提供 一 个 与 取 式 假 言 推 
理 类 似 的 证 明 。 这 并 不 是 说 明 这 些 推理 规则 是 等 价 的 〈 实 际 上 归结 比 取 式 假 言 推理 更 通用 ) ， 仪 
仅 是 给 读者 一 个 感觉 。 

我 们 要 从 “Fido 是 狗 ”、“ 所 有 的 狗 都 是 动物 ”和 “所 有 动物 都 会 死 ” 中 证 明 “Fido 会 死 " 。 
将 这 三 个 前 提 写 为 谓词 ， 并 应 用 取 式 假 言 推理 得 到 : 

1) 所 有 的 狗 都 是 动物 : V(X)(dog(X) 一 animal(X) ). 

2) Fido 是 狗 : dog(fido). 

3) 由 肯定 前 件 的 假 言 推理 和 {fido/X} 可 得 : animal(fido). 

4) 所 有 动物 都 会 死 : Y(Y)(animal(Y) 一 die(Y) ). 

5) 由 肯定 前 件 的 假 言 推理 和 {fido/X} 可 得 : die(fido). 


归结 的 等 价 推理 将 这 些 谓词 变换 为 子 句 形式 : 


谓词 形式 子 句 形式 

1) Y(X)(dog(X) 一 animal( X) ) ” dog(X) V animal(X) 

2) dog(fido) dog(fido) 

3) Vv (Y) (animal(Y)—die(Y)) - animal(Y) V die(Y) 
将 结论 “Fido 会 死 ” 取 反 : 

4) - die (fido) ’ - die (fido) 


对 具有 相反 文字 的 子 句 进行 归结 ， 通 过 归结 生成 新 的 子 句 ， 如 图 14-3 所 示 。 这 个 过 程 常常 称 为 
冲突 (clashing)。 

图 14-3 中 的 符号 口 表示 产生 了 空子 句 ， 发 现 了 了 矛盾 。 口 表示 一 个 谓词 与 其 反 的 冲突 : 两 条 
互相 冲突 的 语句 出 现在 子 句 空间 中 的 情况 。 这 两 条 语句 冲突 生成 空子 句 。 使 得 谓词 等 价 的 代 换 
( 合 一 ) 序列 给 出 了 目标 为 真 时 变量 的 值 。 例 如 ， 如 果 问 是 否 有 东西 会 死 ， 那 么 目标 的 反 就 是 
nm (3 (Z)die(Z)) ， 而 不 是 " die(fido)。 图 14-3 中 的 代 换 {fidovZ)} 确定 fido 是 会 死 的 动物 的 一 个 
实例 。 在 14. 2 节 剩 余 的 部 分 将 会 对 本 例 中 隐 含 的 问题 进行 详细 的 分 析 。 
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ndog(X) v animal(X) ”animalY) v die(Y) 


{Y/X} 


dog(fido) 7 dog(Y) v die(Y) 


{fido/Y} 


die(fido) ~ die(fido) 


口 
图 14-3 “ 死 狗 ”问题 的 归结 证 明 


14. 2.2 为 归结 反驳 生成 子 句 形式 


归结 证 明 过 程 需要 将 数据 库 中 描述 一 个 状态 的 所 有 语句 转化 为 一 个 标准 形式 ， 称 为 子 句 形 
式 。 原 因 在 于 归结 是 一 个 作用 在 析 取 子 句 对 上 生成 新 的 析 取 子 句 的 操作 符 。 数 据 库 采 用 的 形式 
可 以 看 作 是 析 取 子 句 的 合 取 。 合 取 的 原因 是 组 成 数据 库 的 所 有 子 名 在 同一 时 刻 都 假定 为 真 。 每 
个 单独 的 子 句 中 都 是 析 取 ， 以 析 取 符号 (或 V) 作为 连接 符 。 这 样 ， 图 14-3 的 整个 数据 库 可 以 
表示 为 下 面 的 子 甸 形式 : 


(= dog( X) Vanimal(X)) A(~ animal(Y) V die( Y)) A (dog(fido)) 


将 要 证 明 的 命题 的 反 (用 合 取 ) 加 入 到 此 表达 式 ， 在 本 例 中 是 ~ die (fido) 。 一 般 地 ， 数 据 库 可 
以 写成 析 取 式 集合 的 形式 ， 操 作 符 人 可 以 省 略 。 

现在 介绍 一 个 算法 ， 其 中 包含 一 个 变换 序列 ， 可 以 将 任意 的 谓词 演算 语句 集合 化 简 为 子 句 
形式 。 已 经 证 明 ， 这 些 变换 可 以 用 来 将 任意 谓词 演算 表达 式 集合 化 简 为 子 句 形式 ， 并且 当 且 仅 当 
原来 的 表达 式 集合 不 一 致 时 子 名 集合 不 一 致 (Chang and Lee 1973) 。 因 为 有 些 内 容 会 丢失 ， 子 名 
形式 并 不 严格 地 等 价 于 原 谓词 演算 表达 式 集合 ， 原 因 是 斯 柯 伦 化 限制 了 已 存在 的 量化 变量 的 可 
能 的 代 换 (Chang 和 Lee 1973)。 但 是 ,不 可 满足 性 仍然 保持 。 也 就 是 说 ， 如 果 在 原 谓词 演算 表 
达 式 集合 中 存在 矛盾 (反驳 )， 那么 在 子 旬 形 式 中 也 存在 矛盾 。 转 换 并 没有 牺牲 反 驶 证 明 的 完 
备 性 。 

我 们 通过 一 个 例子 来 说 明 析 取 式 的 正规 形式 化 简 过 程 ， 并 给 出 每 一 步 简 要 的 合理 说 明 。 但 
这 并 不 证 明 这 些 变 换 在 所 有 谓词 演算 表达 式 上 都 是 等 价 的 。 

在 下 面 的 表达 式 中 ， 根 据 第 2 章 的 讨论 ， 大 写字 母 代表 变量 (WX、Y 和 2); 字母 表 中 部 的 
小 写字 母 代 表 常 量 或 者 约束 变量 (1.m 和 n); 前面 的 小 写字 母 代表 谓词 名 称 (a、b、c、d 和 e)。 


”为 改善 表达 式 的 可 读 性 ,我们 使 用 两 种 类 型 的 括号 :() 和 [ ]， 并 且 去 除 多 余 的 括 导 。 作 为 一 
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个 例子 ， 看 下 面 的 表达 式 ， 其 中 X、Y 和 Z 是 变量 ,| 是 常量 : 

() (YX(a(X) Ab(X)]—[e(X,D) A(IY)(( 32Z)[e(Y, 2Z)] od X,Y))]) VG VX) (e(X)) 
1) 首先 ， 使 用 第 2 章 中 已 经 证 明 的 等 式 : a 下 b=~ aVb 消去 -，。 上 面 (i) 中 的 表达 式 化 简 为 : 

(六 (YX [a(X) Ab(X)] VIc(X,D) A(I3Y)(( 32Z)[- ec(Y,Z)] Vd(X, Y)] V( VX) (e 
(X)) 

2) 然后 ， 化 简 反 的 范围 。 可 以 利用 第 2 章 中 的 几 个 变换 来 实现 ， 包 括 ， 

(a)=a 

一 (3X) a(X) = (VX) — a(X) 

一 (YX) b(X) = (3X) ~ b(X) 

一 (Ab)= 一 av 一 b 

一 (avb)= 一 aA^ 一 b 

使 有 第 4 个 等 式 ，(i) 变 为 ; 

(ii) (YX a(X)VvVnb(x)]VIc(xD)AC3aY((3z2In ec(Y,Z)] Va(X, Y))]) V( VX) 
(e(X)) 

3) 然后 ， 通 过 重 命名 所 有 变量 进行 标准 化 ， 使 得 不 同 量词 限制 的 变量 具有 惟一 的 名 字 。 第 
2 章 中 已 经 指出 ， 因 为 变量 名 字 是 “ 哑 元 ”或 “ 占 位 符 ”， 所 以 选择 特定 的 名 字 并 不 影响 真 值 或 
子 句 的 一 般 性 。 本 步 中 应 用 的 变换 具有 以 下 形式 : 

((VX)a(X) V (VX)b(X)) = (VX)a(X) V(VY)b(Y) 

因为 (六 ) 中 有 变量 X 的 两 个 实例 ， 所 以 重 命名 : 

(iv) (YX)([- a(X) V- b(X)] V[e(X,D) A(I3Y)(( 3DI- c(Y,Z)] Vad(X, Y))]) V( YW) 
(e(W)) 

4) 将 所 有 量词 不 改变 顺序 全 部 移 到 左边 。 第 3 步 消除 了 变量 名 称 之 间 可 能 的 冲突 ， 所 以 本 
操作 可 以 进行 。 现 在 (iv) 变 为 : 

(Vv) (VX(IY)( IZ (VW) ([= a(X) V -= b(X)] VIc(X,D) A(- ec(Y,2) Vd(X,Y))]) VY 
e(W)) 

第 4 步 后 ， 子 句 称 为 前 束 范式 ， 因 为 所 有 量词 都 在 前 面 作为 前 级 ， 表 达 式 或 母 式 跟 在 后 面 。 

5) 在 此 ， 所 有 存在 量词 都 可 以 被 一 个 称 为 斯 柯 伦 化 〈skolemization) 的 过 程 消 除 。 表 达 式 
(v) 中 有 一 个 Y 的 存在 量词 。 当 表达 式 中 包含 一 个 存在 量化 变量 时 , 如 (3Z) (foe (…，Z，.…) ) ， 
可 以 推断 出 Z 有 一 个 赋值 可 以 使 得 foo 为 真 。 斯 柯 伦 化 确定 这 样 一 个 值 。 斯 柯 伦 化 不 必 指 出 如 何 
得 出 该 值 ， 它 只 是 一 种 为 必然 存在 的 赋值 给 出 名 称 的 方法 。 如 果 k 代表 该 赋值 ， 那 么 得 到 
foo (…, kK, …) 。 这 样 : 

( 习 X)(dog(X)) 可 以 置换 为 dog(fido) 
其 中 ,名字 fido 从 X 的 定义 域 中 选 出 ， 表 示 个 别 的 X。fido 称 为 斯 柯 伦 常量 (skolem constant) 。 
如 果 谓 词 中 含有 一 个 以 上 的 参数 ， 而 且 存 在 量化 变量 在 全 称 量化 变量 的 作用 范围 之 内 ， 那 么 存 
在 量化 变量 一 定 是 其 他 变量 的 一 个 函数 。 可 以 在 斯 柯 伦 化 过 程 中 表示 为 ; 

(VX)( 3Y)(mother(X, Y)) 
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此 表达 式 表 示 每 个 人 都 有 一 个 母亲 。 每 个 人 用 X 表示 ， 存 在 的 母亲 是 选 定 的 特定 人 X 的 函数 。 
这 样 斯 柯 伦 化 得 到 : 


( VX) mother( X, m( X)) 

这 个 表达 式 表示 每 个 X 都 有 一 个 母亲 (与 X 对 应 的 m)。 另 一 个 例子 : 
(VX)(VY)(32)( YW) (foo( X,Y, Zz, W)) 

斯 柯 伦 化 为 : 
(VX)(VY)( VW) (foo(X,Y, f(X,Y),W)) 


存在 量化 变量 Y 和 ZZ 在 全 称 量化 变量 X 的 作用 范围 之 内 (右边 ) ， 但 是 不 在 W 的 范围 之 内 。 所 以 
每 个 变量 都 要 用 X 的 一 个 斯 柯 伦 函 数 代替 。 用 斯 柯 伦 函 数 fX) 代 替 Y， 用 g(X) 代 替 Z，(v) 变 为 ; 
(Vi) (YX)(VW) ([= a(X) V = b(X)] VIc(X, 1) A(= c(f(X), g(X)) Vad(X,f(X)))]) Ve(W)) 


斯 柯 伦 化 以 后 ， 就 可 以 进行 第 6 步 ， 简 单 地 去 掉 前 级 。 

6) 去 掉 所 有 全 称 量 化 。 到 这 一 步 ， 只 剩 全 称 量化 变量 (第 5 步 ) ， 而 且 没 有 变量 冲突 (第 3 
步 )。 这 样 所 有 量词 都 可 以 去 掉 ， 以 后 的 证 明 过 程 假 定 所 有 变量 都 是 全 称 量化 的 。 公 式 (vi) 现 
在 变 为 : 

(vi) [= a(X) V= b(X)] VIe(X,l) A(= c(f(X), g(X)) V ad(X, f(X)))] Ve(W) 

7) 然后 将 表达 式 转化 为 析 取 子 句 的 合 取 形 式 。 需 要 使 用 V 和 人 的 结合 率 和 分 配 率 。 回 忆 第 
2 章 中 : 


aVv(bVc)=(aVb)Vc 
aA(bAc) =(aAb) Ac 


说 明 V 或 人 可 以 按照 任意 的 形式 分 组 。 必 要 时 也 要 使 用 第 2 章 中 的 分 配 率 。 因 为 
aA(bVc) 

已 经 是 子 句 形式 ， 所 以 人 不 需要 分 配 。 然 而 ，V 必须 在 人 上 分 配 : 
aV(bAc) =(aVb)A(aVo) 
(vi) 的 最 后 形式 为 : 


(viii) [= a(X) V- b(X) Vce(X,l) Ve(W)] A 
[- a(X) V- b(X)V- c(f(X), g(X)) Vd(X,f(X)) Ve(W)] 


8) 将 合 取 分 为 单独 的 子 句 。 在 (vi) 的 例子 中 ， 有 两 个 子 句 : 


(ixa) - a(X) V-— b(X) Vc(X,1) Ve(W) 
(ixb) -~ a(X) V-— b(X) V- c(f(X), g(X)) Vd(X,f(X)) Ve(W) 


9) 最 后 一 步 要 再 次 分 开 地 来 标准 化 变量 。 需 要 给 第 8 步 生成 的 每 个 子 句 中 的 变量 取 不 同 的 
名 字 。 这 个 过 程 源 自 第 2 章 中 建立 的 等 式 

(VX)( a(X) Ab(X) ) = (VX)a(X) A( YY)b(Y) 
由 于 变量 名 的 本 质 是 占 位 符 。 使 用 新 变量 名 称 U 和 V 后 ，(ixa) 和 (ixb) 变 为 : 

(xa) -= a(X) V— b(X) Vc(X,1) Ve(W) 
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(xb) =- a(U) V = b(U)V = c(f(U), g(U)) V diy, f(U)) Ve(V) 


最 后 一 步 标 准 化 的 重要 性 只 有 在 介绍 完 归结 的 合 一 步骤 以 后 才 会 表现 出 来 。 我 们 寻找 最 广 的 合 
一 使 得 分 处 于 两 个 子 名 中 的 两 个 谓词 等 价 ， 然 后 在 每 个 子 句 中 具有 相同 名 称 的 变量 上 进行 这 个 
代 换 。 这 样 ， 如 果 某 些 变量 〈 没 必要 ) 与 其 他 变量 具有 相间 的 名 字 ， 将 会 被 合 一 过 程 使 用 一 
代 换 重 命 名 ， 使 得 答案 丧失 一 般 性 。 

这 个 9 步 的 过 程 用 于 将 任意 谓词 演算 表达 式 集合 变换 为 子 句 形式 。 同 时 不 丢失 归结 反驳 的 完 
备 性 。 下 面 说 明 从 这 些 子 句 中 生成 证 明 的 归结 过 程 。 


14. 2. 3 二 元 归结 证 明 过 程 


归结 反 驶 证 明 过 程 通 过 将 子 句 集 化 简 出 一 个 矛盾 (用 空子 句 口 代表 ) 来 回答 提问 或 推导 新 
结果 。 通 过 归结 数据 库 中 的 子 句 对 来 得 出 矛盾 。 如 果 一 个 归结 没有 直接 得 出 矛盾 ， 那 么 将 归结 得 
到 的 子 句 〈 即 归结 式 ) 加 入 子 句 数据 库 ， 并 继续 归结 过 程 。 

在 介绍 归结 过 程 如 何在 谓词 演算 中 工作 之 前 ， 我们 先 给 出 一 一 个 命题 演算 或 者 自由 变量 演算 
的 例子 。 考 虑 下 面 的 两 个 命题 演算 的 父子 句 p1 和 p2 : 

pi:a Va,V…Va, 

p2:b, Vb,V:… VDb, 
具有 两 个 文字 a 和 b, 其 中 1<i<n 且 1<j<m， 使 得 ”ai = bj。 二 元 归结 生成 子 句 : 

aiV…VaiiVaiVvV…VaVbiV… V bi- V bi ,1 V…Vbn 

上 面 的 符号 说 明 归 结 式 由 两 个 父子 句 中 除 文 字 al 和 b; 外 的 所 有 文字 的 析 取 组 成 。 

一 个 简单 的 论据 可 以 给 出 隐藏 在 归结 原理 背后 的 直观 知识 。 假 设 

aV-b 和 bVc 
都 是 成 立 的 语句 。 观 察 到 总 有 b 和 =- b 中 一 个 为 真 ， 另 一 个 为 假 (bV ~- b 是 永 真 式 )。 因 此 

aVC 
之 一 一 定 为 真 。aVc 是 两 个 父子 句 aV ~ b 和 bVc 的 归结 式 。 

现在 考虑 一 个 命题 演算 的 例子 ， 要 从 下 面 的 公理 (当然 ， 对 于 所 有 的 命题 1 和 m 有 I 一 m= 
m 一 |) 中 证 明 a: 

as~bAc 

b 

cdAe 

eVf 

dAnTf 

将 第 一 个 公理 化 为 子 句 形式 : 

abAC 

aVv- (bAc) 根据 | 一 m =-1Vm 

aV-~-bV-c 根据 德 . 摩根 定律 

化 简 其 余 的 公理 ， 得 到 下 面 的 子 句 : 

aVb- V-nC 
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归结 证 明 见 图 14-4。 首 先 ， 将 要 证 明 的 目标 a 取 反 后 加 入 子 旬 集 。 导 出 口 表示 子 名 数据库 
是 不 一 致 的 。 


要 在 文字 中 可 能 包含 变量 的 谓词 演算 中 运 avabvae 
用 二 元 归结 ， 必 须 有 一 个 过 程 使 得 两 个 文字 在 
具有 不 同 变量 名 称 或 者 一 个 是 常量 时 可 以 看 作 人 -一 ， 
是 等 价 的 。2. 3. 2 节 将 合 一 定义 为 确定 使 两 个 谓 了 全 所 
词 等 价 的 一 致 最 广 代 换 的 过 程 。 ~ 
谓词 演算 上 的 归结 算法 与 命题 演算 归结 算 evndvne 


法 非常 相似 ， 除 了 以 下 几 点 : 一 


1) 父子 句 中 文字 及 其 反 只 有 当 在 某 个 代 换 vf Jdv-e 


o 下 合 一 时 才能 生成 归结 式 。 然 后 要 在 把 归结 式 
加 入 子 句 集 之 前 将 o 应 用 到 该 归结 式 。 要求 c 入 一 
是 父子 名 的 最 广 合 一 子 。 : dq fvnd 


询 为 真 的 变量 绑 定 。 我 们 将 在 14. 2. 5 节 解 释 这 


个 称 为 解答 抽取 的 过 程 。 

有 时 ， 一 个 子 句 中 两 个 或 两 个 以 上 的 文字 AL 一 
有 一 个 合 一 代 换 。 出 现 这 种 情况 时 ， 即 使 包含 
该 子 句 的 子 句 集 是 矛盾 的 ， 该 子 句 集中 也 可 能 
会 不 存在 反驳 。 例 如 ， 考 虑 下 面 的 子 句 ; 


p(X) Vp(f(Y)) 

- p(W) V- p(f(2)) 
读者 需 注意 ， 使 用 简单 的 归结 ， 这 些 子 句 只 能 化 简 为 等 价 的 式 子 或 者 重 言 式 , 但 是 不 能 得 出 矛 
盾 ， 即 没有 代 换 使 得 它们 不 一 致 。 

这 种 情况 可 以 通过 这 种 子 句 的 因 式 分 解 来 处 理 。 如 果 一 个 子 句 中 文字 的 一 个 子 集 有 一 个 最 
广 合 一 子 ( 见 2.3.2 节 )， 那 么 用 一 个 新 的 子 句 置换 原子 句 ， 这 个 新 子 句 称 为 子 句 的 因 式 。 因 式 
是 原来 子 名 应 用 最 广 合 一 子 代 换 并 去 掉 元 余 文 字 后 生成 的 子 句 。 例 如 ，p(X) V P(f(Y) ) 的 两 个 文 
字 在 代 换 {f(Y)/X} 下 会 合 一 。 将 代 换 应 用 到 两 个 文字 后 得 到 新 子 句 ，p(f(Y)) V p(f(Y)) 然 后 用 
因 式 p(f(Y)) 代 替 此 子 句 。 任 何 包含 因 式 分 解 的 归结 反驳 系统 都 是 反驳 完备 的 。14. 2. 2 节 中 的 第 
3 步 分 别 对 变量 标准 化 ， 可 以 解释 为 因 式 分 解 的 一 次 小 应 用 。 在 14. 4. 2 节 描 述 的 超 归 结 中 ， 因 
式 分 解 也 可 以 作为 推理 过 程 的 一 部 分 处 理 。 

下 面 ， 我 们 介绍 谓词 演算 归结 反驳 的 一 个 例子 。 看 下 面 “ 快 乐 的 学 生 ” 的 故事 ; 


任何 通过 历史 考试 和 中 奖 的 人 都 是 快乐 的 。 任 何 努 力学 习 或 者 幸运 的 人 都 能 够 通过 所 有 考试 。 
约翰 不 学 习 但 是 很 幸运 。 任 何 幸运 的 人 都 能 中 奖 。 约 翰 快 乐 吗 ? 


2) 用 来 找到 矛盾 的 合 一 代 换 提供 了 原始 查 和 
f 


图 14-4 一 个 命题 演算 例子 的 归结 证 明 
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首先 将 句子 化 为 谓词 形式 : | 
任何 通过 历史 考试 和 中 奖 的 人 都 是 快乐 的 。 
VX (pass(X, history) A win(X，lottery) 一 happy(X) ) 
任何 努力 学 习 或 者 幸运 的 人 都 能 够 通过 所 有 考试 。 
VXVY(study(X) VIucky(X) 一 pass(X,Y) ) 
约翰 不 学 习 但 是 很 幸运 。 
” study(john) AIucky(johm) 
任何 幸运 的 人 都 能 中 奖 。 
YX(Iucky(X) 一 win(X, lottery) ) 
将 这 4 条 谓词 语句 转化 为 子 句 形式 〈( 见 14.2.2 节 ): 
1， 一 pass (X, history) v 一 win (X, lottery) v happy (X) 
2. 一 Study (Y) v pass (Y, Z) 
3， 一 Iucky (W) v pass (W, V) 
4， 一 Study (ohn) 
5，lucky (johnm) 
6. — lucky (U) v win (U, lottery) 


将 结论 的 否定 以 子 句 形式 加 入 子 名 集中 : 
7. ~ happy(john) 
图 14-5 的 归结 反驳 图 显示 了 矛盾 的 一 个 导出 ,结果 就 证 明了 “约翰 是 快乐 的 ”。 


~ pass(X, history) v -~ win(X, lottery) v happy(X) - lucky(U) v win(U, lottery} 


{U/X} 


~ pass(U, history) v happy(U) v ~ lucky(U) - happy(ohn) 


{ohn/U)} 


lucky(john) ~ pass(john, history) v -= lucky(john) 


- pass(john, history) -= lucky(V) v pass(V, W) 


{john/V, history/W} | 
-luckyGjohn) lucky(john) 
人 一 
口 
图 14-5 “快乐 的 学 生 ” 间 题 的 一 个 归结 反 驱 
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作为 本 小 节 最 后 一 个 例子 ,我 们 介绍 “ 令 人 兴奋 的 生活 ”问题 ; 假设 : 


所 有 不 贫穷 而 且 聪 明 的 人 是 快乐 的 。 读 书 的 人 不 愚蠢。 约翰 能 读书 而 且 不 贫穷 。 快 乐 的 人 过 
着 令 人 兴奋 的 生活 。 能 找到 过 着 令 人 兴奋 的 生活 的 人 吗 ? 
假定 YX(smart(X) =” stupid(X)) 且 YVY(wealthy(Y) =- poor(Y))， 可 得 : 
VX (一 poor (X) ^ smart (X) 一 happy (X)) 
VY (read (Y) — smart (Y)) 
read (john) A 一 poor (john) 
VZ (happy (2) 一 exciting (Z)) 
结论 的 否定 是 : 
了 Wexciting(W) ) 
“ 令 人 兴奋 的 生活 ”问题 的 谓词 演算 表达 式 可 以 转化 为 下 面 的 子 句 : 
poor (X) v 一 Smart (X) v happy (X) 
一 read (Y) v smart (Y) 
read (john) 


一 poor (john) 
一 happy (Z) v exciting (Z) 


一 exciting (W) 
这 个 例子 的 归结 反驳 见 图 14-6。 
- exciting(W) mhappy(Z) v exciting(Z) 
AN 一 
-~ happy(Z) poor(X) v ~ smart(X) v happy(X) 
Pd 
poor(X) v -~ smart(X) - read(Y) v smart(Y) 
AU 一 
-= poor(john) poor(Y) v ~ read(Y) 
oa 

~ read(john) read(john) 


入 
口 


图 14-6 “ 令 人 兴奋 的 生活 ”问题 的 归结 证 明 
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14. 2.4 ”归结 策略 和 简化 技术 


图 14-6 问题 的 搜索 空间 中 的 另 一 棵 证 明 树 在 图 14-7 中 显示 。 这 些 证明 有 一 些 共同 点 ; 例 
如 ， 都 用 了 5 步 。 同 时 ， 两 个 证 明 中 合 一 代 换 的 关联 应 用 都 发 现 john 是 过 着 “ 令 人 兴奋 的 生活 ” 
的 人 的 一 个 实例 。 


~ happy(Z) v exciting(Z) poor(X) v - smart(X) v happy(X) 
WW 
-read(Y) v smart(Y) exciting(Z) v poor(Z) v -~ smart(Z) 
{Y 人 
”read(Y) v exciting(Y) v poor(Y) =” poor(john) 
{johm/Y} 
read(john) -= read(john) v exciting(john) 
{} 
exciting(johm) ~ exciting(W) 
{john/W} 
口 


图 14-7 图 14-6 中 例子 的 男 一 个 归结 反驳 


然而 ， 这 两 个 相似 点 不 一 定 必 然 出 现 。 归 结 证 明 系统 定义 时 ( 见 14.2.3 节 ) ， 没 有 给 出 子 
名 组合 的 顺序 。 这 是 一 个 关键 问题 : 当 子 句 空间 中 有 N 条子 句 时 ,就 有 N? 种 方法 组 合 它们 ， 或 
者 检查 它们 是 否 能 够 组 合 在 第 一 层 上 ! 子 句 的 结果 集合 也 很 大 ; 即使 只 有 20% 的 子 句 生成 新 的 
子 句 ， 下 一 轮 中 可 能 解 的 组 合 也 会 大 大 超过 第 一 层 。 在 问题 较 大 的 情况 中 ， 这 种 爆炸 性 增长 会 很 
快 难以 控制 。 

因此 ， 启 发 式 搜索 在 归结 证 明 过 程 中 非常 重要 ， 它 也 是 问题 求解 弱 方 法 。 正 如 第 4 章 中 讨论 
过 的 启发 式 ， 还 没有 研究 出 能 够 确定 一 种 能 够 解决 任何 特殊 问题 的 最 好 的 策略 。 无 论 如 何 ， 一 些 
通用 策略 还 是 能 够 对 付 组 合 爆炸 问题 的 。 

在 讨论 策略 之 前 ， 需 要 先 做 几 点 说 明 。 首 先 ， 基 于 第 2 章 中 表达 式 不 可 满足 性 的 定义 ， 当 不 
存在 解释 确定 一 个 子 句 集 是 可 满足 的 时 ,该 子 句 集 是 不 可 满足 的 。 其 次 ， 给 定 一 个 不 可 满足 的 子 
名 集 ， 如 果 单 独 使 用 一 个 推理 规则 可 以 确定 其 不 可 满足 性 ， 那 么 这 条 推理 规则 是 反 驱 完备 的 。 使 
用 因 式 分 解 的 归结 具有 此 属性 〈Chang and Lee 1973) 。 最 后 ， 当 在 一 条 反驳 完备 的 推理 规则 上 使 
用 策略 时 ， 如 果 不 论 子 句 集 是 否 是 不 可 满足 的 都 能 够 保证 找到 一 个 反 驶 ， 那 么 这 个 策略 是 完备 
的 。 宽 度 优先 是 完备 策略 的 一 个 例子 。 

宽度 优先 策略 上 面 提 到 的 子 句 对 比 穷 举 的 复杂 性 分 析 是 基于 宽度 优先 搜索 的 。 第 一 轮子 
名 空间 中 的 每 个 子 句 与 子 名 空间 中 的 每 个 子 旬 进行 归结 对 比 。 搜 索 空间 的 第 二 层 子 句 通过 归结 
第 一 层 中 的 子 句 和 所 有 最 初 的 子 句 生成。 第 n 层 的 子 句 通过 归结 所 有 n - 1 层 的 子 句 和 最 初 的 子 
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句 集中 的 元 素 以 及 之 前 生成 的 所 有 子 句 生成 。 

宽度 优先 策略 在 处 理 大 型 问题 时 会 很 快 难以 控制 。 然 而 它 确实 具有 一 个 很 好 的 特性 。 同 所 
有 宽度 优先 搜索 一 样 ， 它 保证 能 发 现 最 短 的 解 路 径 ， 因 为 在 进入 下 一 层 之 前 要 为 每 一 层 生成 所 
有 的 搜索 状态 。 它 也 是 一 个 完备 的 策略 ， 因 为 如 果 存 在 艺 盾 并 且 能 进行 足够 长 的 搜索 ， 它 保证 能 
找到 一 个 反 驶 。 这 样 ， 当 问题 很 小 时 ， 例 如 我 们 前 面 介绍 的 例子 ， 宽 度 优先 是 一 个 好 的 策略 。 图 
14-8 将 宽度 优先 策略 应 用 到 了 “ 令 人 兴奋 的 生活 ”问题 。 


Poor(X) v = smart(X ~ read(Y, . - joh =~h j ~ exciti 
Y 和 sp 区 人 Van poorlom) V RR 2) este ee) 






poor(X) v ~ smart(X) 


v exciting(X) 
< 之 | < 
一 > 4 

> 人 _、 < 过 入、 7 


nread(ljohm v poor(X) = read(john) -smart(lohn) poor(Z) happyljiohn) poor(john) poor(X) ~ smartlohn) poor(ohn) 
happylohn) vo-read(X) vhappy(ohn) vexcitingUohn) v-read(Z) vhappydohn) v ~ smart(X) v exciting(john) 
v exciting(X) : 


图 14-8 宽度 优先 搜索 生成 的 “ 令 人 兴奋 的 生活 ”问题 的 完整 状态 空间 (到 两 层 ) 


成 组 支持 策略 ”对 于 大 子 句 空间 来 说 ， 成 组 支持 策略 (Wos and Robinson 1968) 是 极 好 的 策 
略 。 对 于 输入 的 子 句 集 S， 我 们 可 以 定义 一 个 S 的 子 集 T， 称 为 成 组 支持 。 本 策略 要 求 每 次 归结 
的 归结 式 之 一 有 一 个 祖先 在 成 组 支持 中 。 可 以 证 明 ， 如 果 S 是 不 可 满足 的 并 且 S-T 是 可 满足 的 ， 
那么 成 组 支持 策略 是 反驳 完备 的 (Wos et al. 1984) 。 

如 果 原 子 句 集 是 一 致 的 ， 那么 包含 原 查 询 的 否定 的 任何 成 组 支持 都 满足 这 些 要 求 。 这 一 策 
略 基 于 对 如 下 事实 的 洞察 : 要 证 明 的 目标 的 否定 是 导致 子 句 空间 中 矛盾 形成 的 原因 。 成 组 支持 
强制 归结 的 子 句 之 中 至 少 有 一 个 是 目标 的 否定 或 者 是 由 其 归结 生成 的 子 句 。 

图 14-6 是 将 成 组 支持 策略 应 用 到 “ 令 人 兴奋 的 生活 ”问题 的 一 个 例子 。 因 为 只 要 存在 反 驶 ， 
那么 就 存在 支持 反驳 集 ， 所 以 成 组 支持 能 够 构成 完备 策略 的 基础 。 一 个 解决 方法 是 对 所 有 可 能 
的 支持 反驳 集 进行 宽度 优先 搜索 。 当 然 ， 这 比 对 所 有 子 句 的 宽度 优先 搜索 要 高 效 得 多 。 只 需要 保 
证 目标 的 否定 子 句 的 所 有 归结 式 及 其 后 代 都 能 被 检查 到 。 

单个 优先 策略 ”观察 迄今 为 止 所 有 的 归结 例子 ， 了 矛盾 的 导出 都 是 用 没有 文字 的 子 名 表示 。 
这 样 ， 每 次 归结 生成 一 个 比 原子 名 包含 更 少 文字 的 结果 子 句 ， 上 距离 生成 没有 文字 的 子 句 更 近 了 。 
特别 是 ， 归 结 一 个 文字 的 子 句 ， 称 为 个 体 子 句 ， 将 保证 归结 式 比 最 大 的 父子 句 小 。 单 个 优先 策略 
是 只 要 存在 个 体 子 句 就 使 用 个 体 子 句 归结 。 图 14-9 将 单个 优先 策略 应 用 到 “ 令 人 兴奋 的 生活 ” 
问题 。 单 个 优先 策略 与 成 组 支持 策略 一 起 使 用 ， 得 到 了 更 加 有 效 的 完备 策略 。 

个 体 归 结 是 与 单个 优先 相关 的 一 个 策略 ， 需 要 归结 式 之 一 是 个 体 子 句 。 这 是 一 个 比 单个 优 
先 策略 更 强 的 要 求 。 我 们 可 以 使 用 同一 个 例子 说 明 线性 输入 形式 不 完备 性 ， 进 而 说 明 个 体 归 结 
是 不 完备 的 。 

线性 输入 形式 策略 ”线性 输入 形式 策略 是 对 目标 的 否定 和 原始 公理 的 直接 使 用 : 给 出 目标 
的 否定 ， 用 公理 之 一 进行 归结 ， 得 到 新 的 子 句 。 青 将 结果 和 公理 之 一 进行 归结 得 到 另 一 个 新 子 
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- exciting(W) -happy(Z) v exciting(Z) 


信 、 一 


”~ happy(Z) poor(X) v ~ smart(X) v happy(X) 


4 


- poor(john) poor(X) v -~ smart(X) 


oa 


- smart(john) -read(Y) v smart(Y) 


{john/Y} 


read(john) -~ read(john) 


入 
口 


图 14-9 将 单个 优先 策略 应 用 到 “ 令 人 兴奋 的 生活 ”问题 


句 ， 再 和 一 个 公理 进行 归结 。 过 程 一 直 进行 ， 直 到 空子 句 产生 。 

每 一 步 中 ， 我 们 都 对 最 近 生 成 的 子 句 和 来 源 于 问题 原始 描述 的 一 条 公理 进行 归结 。 不 使 用 
前 面 导出 的 子 名 ， 也 不 归结 两 个 公理 。 线 性 输入 形式 不 是 一 个 完备 的 策略 ， 通 过 将 其 应 用 到 下 面 
的 四 条 子 句 (很 明显 是 不 满足 的 ) 可 以 看 出 ,不 管 将 哪 条 子 句 看 作 是 目标 的 否定 ， 线 性 输入 策 
略 都 无 法 得 出 矛盾 : 


-aV-b 
aVv-b 
-aVb 
aVb 


其 他 策略 和 简化 技术 我们 并 不 是 要 介绍 所 有 使 用 归结 推理 的 定理 证 明 策 略 或 是 最 复杂 的 
技术 。 这 些 内 容 可 以 在 其 他 一 些 著作 中 查 到 ， 如 Wos 等 人 (1984) 和 Wos (1988) 的 著作 。 我 
们 的 目的 是 介绍 本 研究 领域 中 最 基本 的 工具 ， 说 明 如 何在 问题 求解 中 使 用 这 些 工具 。 但 是 归结 
证 明 过 程 是 另外 一 种 属于 问题 求解 弱 方 法 的 技术 。 

从 这 种 理解 来 看 ， 归 结 可 以 作为 谓词 演算 的 推理 引擎 ， 但 是 需要 大 量 分 析 和 精确 应 用 一 些 
策略 才能 成 功 。 在 规模 足够 大 的 问题 中 ， 使 用 归结 法 随机 归结 表达 式 就 像 随 机 敲打 键盘 而 希望 
得 到 一 篇 好 文章 一 样 毫 无 希望 。 因 为 组 合 的 数量 太 多 了 1! 

本 章 中 使 用 的 例子 都 很 小 ， 而 且 所 有 的 子 句 对 于 解答 都 是 必需 的 。 这 些 条 件 在 有 实际 意义 
的 问题 中 是 很 少 成 立 的。 用 于 对 付 这 种 组 合 复杂 性 ,我 们 给 出 了 几 个 简单 的 策略 ， 并 且 还 将 指出 
在 设计 基于 归结 的 问题 求解 系统 时 需要 考虑 的 一 些 更 重要 的 事情 。 我 们 在 后 面 ( 见 14.3 节 ) 还 
将 说 明 一 个 具有 组 合 搜索 策略 的 归结 反 驶 系统 如 何 为 逐 辑 程序 设计 提供 “语义 ”， 特 别 是 为 Pro- 
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log 解释 器 的 设计 。 

策略 的 组 合 对 于 控制 搜索 非常 有 效 一 如 成 组 支持 策略 和 单个 优先 策略 的 组 合 使 用 。 搜 索 启 
发 式 也 可 以 圣人 到 规则 的 设计 中 〈 通 过 创建 一 个 从 左 到 右 文字 归结 顺序 ) 。 这 种 顺序 可 以 最 有 效 
地 削减 搜索 空间 。 这 种 策略 的 隐 含 使 用 在 Prolog 程序 设计 中 非常 重要 〈 见 14.3 节 )。 

结论 的 一 般 性 可 以 作为 设计 归结 策略 的 标准 。 一 方面 ， 保 持 中 间 解 答 尽 可 能 通用 很 重要 ， 因 
为 这 样 使 它们 可 以 在 归结 中 更 自由 地 使 用 。 因 此 ， 任 何 需 要 通过 变量 绑 定 进行 特 化 的 归结 ， 如 
{john/X} ， 都 应 该 尽 可 能 往 后 推迟 。 另 一 方面 ， 解 答 需要 特殊 的 变量 绑 定 ， 例 如 在 分 析 John 是 
否 感染 了 葡萄 球菌 时 ， 代 换 {john/Person} 和 { staph/infection} 可 以 限制 搜索 空间 ， 增 加 找到 解答 
的 可 能 性 和 速度 。 

选择 策略 时 一 个 重要 的 问题 是 完备 性 的 概念 。 在 某 些 应 用 中 ， 知 道 会 找到 解答 《如果 存在 ) 
可 能 是 非常 重要 的 。 这 一 点 只 能 通过 完备 的 策略 来 保证 。 

我 们 还 可 以 通过 加 速 匹配 过 程 来 提高 效率 。 我 们 可 以 按 包含 的 文字 和 文字 的 肯定 或 否定 为 
每 个 子 句 建立 索引 ， 通 过 这 种 方法 可 以 消除 不 可 能 生成 新 归结 式 的 子 句 之 间 的 不 必要 的 (高 成 
本 的 ) 合 一 ， 这 使 得 我 们 可 以 直接 找到 潜在 的 归结 式 。 同 时 ， 我 们 应 该 在 一 些 特定 的 子 句 生成 
后 就 马上 将 其 消除 。 首 先 ， 重 复 的 子 句 不 需要 考虑 ; 其 次 ， 永 远 不 可 能 为 假 的 子 句 ; 它们 在 归结 
尝试 中 毫 无 用 处 。 

另 一 种 不 给 出 新 信息 的 子 甸 类 型 是 能 够 被 包含 的 子 句 ， 即 在 子 句 空间 中 已 经 有 一 个 更 一 般 
的 实例 。 例 如 ， 如 果子 句 空间 中 已 经 包含 VX(p(X)) ， 又 推导 出 了 p(john) ， 那么 p(john) 可 以 
扔 掉 而 没有 任何 损失 。 实 际 上 ， 由 于 子 句 空间 中 的 子 句 更 少 了 ， 所 以 节省 了 空间 和 时 间 。 类 似 
地 ，p(x) 归 人 子 句 p(x) V q(x) 。 当 两 者 都 在 子 句 空间 中 时 ， 欠 缺 一 般 性 的 信息 不 会 为 更 一 般 的 
信息 增加 任何 东西 。 

最 后 ， 过 程 附加 评价 或 者 不 用 进一步 搜索 就 能 处 理 所 有 能 产生 新 信息 的 子 句 。 使 用 代数 方 
法 在 公理 或 子 句 之 间 进 行 比较 ,或 者 “运行 ”其 他 确定 性 的 程序 用 于 向 问题 求解 中 添加 具体 的 
信息 ,或 者 使 用 任何 方式 约束 求解 过 程 。 例 如 ， 当 获 得 了 足够 的 exciting(W) 
信息 时 ， 可 以 对 一 个 程序 计算 变量 进行 绑 定 。 变 量 绑 定 接着 就 限 





制 了 可 能 的 解 并 修剪 了 搜索 空间 。 CA 

下 面 我 们 说 明 如 何 从 归结 反 了 驶 过 程 中 抽取 解答 。 exciting(Z) 
14. 2. 5 ”从 归结 反驳 中 抽取 解答 [加 

假设 为 真 的 实例 就 是 已 发 现 反 驳 的 代 换 。 因 此 ， 保 留 归 结 反 exciting(X 
联 中 合 一 代 换 的 信息 就 可 以 给 出 正确 答案 的 信息 。 在 本 节 中 ， 我 wo 


们 给 出 三 个 例子 ， 并 介绍 一 个 从 归结 反驳 中 抽取 解答 的 登记 法 。 
解答 的 记录 方法 很 简单 : 保留 要 证 明 的 结论 ， 并 将 该 结论 引 exciting(Y) 
入 到 归结 过 程 中 所 做 的 每 个 合 一 中 。 原 来 的 结论 就 成 了 反 驶 中 所 


窑 全 一 的 “ 记 账 员 ”。 在 归结 反 驶 的 计算 搜索 中 ， 当 反 驶 搜索 中 
同时 存在 多 个 可 能 的 选择 时 ， 这 样 做 需要 额外 的 指针 ， 可 能 还 需 excitingdohn) 
要 个 类 似 回 逆 的 控制 机 制 来 生成 可 选 的 解 路 径 ， 但 是 要 小 心 ， , | 
添加 的 信息 可 能 会 被 保留 。 

来 看 这 个 过 程 的 一 些 例子 。 在 图 14-6 中 ， 找 到 了 对 存在 一 excitingohn) 


个 人 过 着 令 人 兴奋 的 生活 的 一 个 证 明 ， 应 用 图 14-10 中 的 合 一 。 图 14-10 将 图 14-6 的 合 一 代 
如 果 保 留 原 目标 ， 并 将 反驳 的 所 有 代 换 都 应 用 到 该 子 句 ， 就 找到 换 应 用 到 原 查询 
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了 “哪个 人 过 着 令 人 兴奋 的 生活 ”的 答案 。 

图 14-10 说 明了 归结 反 驶 不 仅 能 证 明 “ 没 有 人 过 着 令 人 兴奋 的 生活 ”是 错 的 ， 而 且 通 过 演示 
的 过 程 能 够 得 出 快乐 的 人 是 John。 这 是 一 个 一 般 的 结果 ， 生 成 反 驱 的 合 一 与 生成 原 查询 为 真 的 实 
例 的 合 一 相同 。 

第 二 个 例子 是 一 个 简单 的 故事 ， 

主人 约翰 走 到 哪里 ， 他 的 狗 菲 多 就 跟 到 哪里 。 约 翰 在 图 书馆 。 非 多 在 哪里 ? 

首先 将 故事 表示 为 谓词 演算 表达 式 ， 然 后 化 简 为 子 句 形式 。 谓 词 形 式 ，: 

at( john, X) —>at( fido, X) 

at( john, library) 
子 句 形式 : 

~ at(john, Y) Vat(fido, Y) 

at( john, library) 
结论 的 否定 : 

-at(fido，Z) ，Fido 不 在 任何 地 方 ! 

图 14-11 给 出 了 解答 抽取 过 程 。 对 合 一 的 字面 上 的 跟踪 就 是 原 问题 (Fido 在 哪里 ?) : 

at(fido，Z) 


再 一 次 ， 发 现 矛 盾 的 合 一 告诉 我 们 如 何 使 得 原 查询 为 真 : Fido 在 图 书馆 。 


at(fido, Z) -~ at(fido, 2) -at(ohn, X) v at(fido, X) 
| {X/2} 

at(fido, X) -~ at(john, X) at(john, library) 
{library/X} 

at(fido, library) 口 


图 14-11 “寻找 非 多 ”问题 的 解答 抽取 过 程 
最 后 一 个 例子 说 明 斯 柯 伦 化 过 程 如 何 能 够 给 出 可 以 抽取 出 解答 的 实例 。 看 下 面 的 情景 : 


每 个 人 都 有 父 ( 母 ) 亲 。 父 ( 母 ) 亲 的 父 ( 母 ) 亲 是 祖父 ( 母 ) 。 给 定 一 个 人 John, 证 明 
John 有 祖父 ( 母 )。 


下 面 的 句子 表示 上 面 情景 中 的 事实 和 关系 。 首 先 ， 每 个 人 都 有 父 〈 母 ) 亲 : 

(VX) (3Y) p(X, Y) 

父 ( 母 ) 亲 的 父 ( 母 ) 亲 是 祖父 ( 母 ) 。 

(VX)(VY) (YZ) p(X, Y) AP(Y，Z) 一 gp(X，Z) 

目标 是 找到 一 个 W 使 得 gp(john, W) 或 者 3(W) (gp(john, W)) 。 目 标的 否定 是 ” 3 了 (W) (gp 
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(john, W) ) 或 : 

” gp(john, W) 

在 将 上 面 的 谓词 转化 为 子 句 形式 来 进行 归结 反 驶 的 过 程 中 ,第 一 个 谓词 (每 个 人 都 有 父 
(和 母 ) 亲 ) 中 的 存在 量词 需要 一 个 斯 柯 伦 函 数 。 这 个 斯 柯 伦 函 数 是 一 个 很 明显 的 函数 ， 对 给 定 的 


X 找到 X 的 父 ( 母 ) 亲 。 将 其 称 为 pa(X) ， 表示“ 找到 X 的 父 (母亲 ”。 对 于 John 来 说 ， 就 
是 他 的 爸爸 或 者 妈妈 。 本 问题 的 谓词 描述 的 子 句 形 式 是 : 


p(X, pa(X)) 

™ p(W, Y) V- p(Y, 2Z) V gp(W, 2) 

- gp(john, V) 

归结 反 了 驶 和 解答 抽取 过 程 表 示 在 图 14-12 中 。 注 意 解答 中 的 合 一 代 换 是 
gp(john, pa(pa(john))) 


对 问题 John 是 否 有 祖父 〈( 母 ) 的 解答 是 “发 现 John 的 父 ( 母 ) 亲 的 父 ( 母 ) 亲 ”。 斯 柯 伦 函数 
使 得 我 们 能 够 计算 出 这 一 结果 。 


gp (ohn, V) ”gp (John, V) ”Pp(W,Y) v ~ p(Y,ZD) v gp(WZ) 
| {john/W, V/Z} 
gp (ohn, V) ”plohn Y) v ~ p(Y,V) p(X,pa(X)) 


tohn/X, pa(X)Y/Y} 
gp (ohn, V) ~ p(pa(john), V) p(X,pa(X)) 
{pa(john)/X, pa(X)/V} 


gp (john, pa(pa(john))) 
图 14-12 ”作为 解答 抽取 过 程 一 部 分 的 斯 柯 伦 化 
刚刚 描述 的 解答 抽取 的 一 般 过 程 可 以 在 所 有 归结 反驳 中 应 用 ， 不 管 是 使 用 类 似 图 14-10 和 图 
14-11 中 的 一 般 合 一 ， 还 是 像 图 14-12 中 一 样 估计 斯 柯 伦 函数 。 刚 刚 描述 的 解答 抽取 过 程 都 能 够 
得 出 一 个 解答 。 方 法 非常 简单 : 发 现 矛 盾 的 实例 ( 合 一 ) 就 是 结论 ( 原 查 询 ) 否定 的 反 为 真 的 
实例 。 虽然 本 小 节 没 有 在 每 个 例子 中 证 明 这 个 结论 是 如 何 成 立 的 ， 但 是 用 几 个 例子 说 明了 解答 
抽取 过 程 是 如 何 工作 的 ; 更 深入 的 讨论 可 以 查阅 一 些 著 作 (Nilsson 1980，Wos et al 1984) 。 


14.3 ” Prolog 和 自动 推理 


14. 3.1 概述 


只 有 理解 一 种 计算 机 语言 的 实现 以 后 ， 我 们 才能 正确 掌握 其 使 用 ， 控 制 其 副作用 ， 对 其 结果 
有 信心 。 本 节 我 们 描述 Prolog 的 语义 ， 并 将 其 与 前 面 章节 介绍 的 自动 推理 中 的 问题 联系 起 来 。 
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14. 2 节 中 归结 证 明 过 程 存在 的 严重 问题 是 ， 它 需要 一 个 完全 同类 的 数据 库 来 表示 问题 。 当 
谓词 演算 描述 化 简 或 转换 为 子 名 形式 时 ， 重 要 的 问题 求解 信息 也 遗漏 了 。 忽 略 的 信息 虽然 不 是 
问题 任何 部 分 的 真 假 ， 但 却 可 能 是 对 如 何 使 用 信息 的 控制 提示 或 过 程 描述 。 例 如 ， 归 结 形式 的 目 
标 否 定子 名 可 能 具有 以 下 形式 : 


aV-bVcV~d 


其 中 a、b、c 和 d 是 文字 。 归 结 推理 机 制 应 用 一 个 搜索 策略 来 推导 空子 句 。 策 略 可 以 应 用 到 所 
有 文字 ， 应 用 到 哪 一 个 文字 依赖 于 所 选 的 特定 策略 。 指 导 妇 结 定理 证 明 使 用 的 策略 是 弱 启 发 式 ; 
因为 它们 与 特定 问题 领域 的 知识 结合 并 不 深入 。 

例如 ， 上 面 的 归结 例子 中 ， 目 标的 否定 可 能 是 下 面 谓词 演算 语句 的 一 个 变换 ; 


a~bA-~cAd 


可 以 将 其 理解 为 “看 a 是 否 为 真 ， 看 b 是 否 为 真 和 Cc 是 否 为 假 以 及 d 是 否 为 真 "。 规 则 亦 指 求解 
a 的 过 程 和 对 特定 启发 式 信 息 的 利用 。 实 际 上 ， 子 目标 b 可 以 提供 证 明 整 个 断言 为 假 的 最 简单 方 
法 ， 所 以 顺序 “考察 b 然后 看 c 是 否 为 假 然后 检查 d” 能够 节省 许多 问题 求解 时 间 。 隐 含 的 启发 
式 说明 “ 先 尝试 用 最 简单 的 方法 证 明 问 题 不 成 立 ， 如 果 通 过 检查 再 继续 前 进 ， 生 成 答案 的 其 余 
(可 能 更 难 ) 部 分 ”。 人 类 专家 设计 过 程 和 关系 时 ， 不 仅 保证 它们 的 正确 性 ， 而 且 包 含 使 用 的 关 
键 信息 。 在 大 多 数 有 意义 的 问题 求解 情形 中 ， 我们 无 法 忽视 这 些 启发 式 (Kowalski 1979b) 。 

下 一 节 我 们 介绍 Hom 子 句 ， 并 将 其 程序 上 的 解释 作为 一 个 明确 的 策略 使 用 ， 该 策略 保持 有 
启发 式 信息 。 


14. 3.2 ”逻辑 程序 设计 和 Prolog 


要 理解 Prolog 的 数学 基础 ， 首 先 要 定义 逻辑 程序 设计 。 有 了 这 个 定义 后 ,我 们 将 把 显 式 搜索 
策略 用 于 逻辑 程序 设计 中 以 实现 搜索 策略 的 大 致 过 程 ， 这 有 时 被 称 为 Prolog 的 程序 性 语义 。 为 了 
全 面 了 解 Prolog ， 我 们 还 讨论 not 和 封闭 世界 假设 (closed world assumption) 的 使 用 。 

现在 考虑 用 以 进行 归结 反驳 的 子 名 数据库， 如 14. 2 节 。 如 果 我 们 限制 集合 中 的 子 句 最 多 只 
能 有 一 个 肯定 的 文字 (0 个 或 者 更 多 的 否定 文字 ) ， 将 得 到 具有 某 些 有 意义 性 质 的 子 句 空间 。 首 
先 ， 用 此 子 句 集 描述 的 问题 对 于 归结 反驳 保持 了 不 可 满足 性 ,或 者 说 是 反驳 完备 的 ， 见 14. 2 节 。 
其 次 ,将 表示 限制 在 所 有 子 句 的 这 种 子 类 的 一 个 重大 优势 是 ， 反 了 驶 搜索 策略 将 变 得 非常 有 效 : 线 
性 输入 形式 、 基 于 单个 优先 、 从 左 到 右 和 深度 优先 的 目标 约 简 。 使 用 有 根据 的 递归 (最 后 终止 
的 递归 调用 ) 和 出 现 检查 ， 这 一 策略 在 子 句 空间 不 满足 的 情况 下 能 保证 找到 反 驶 (van Emden 
and Kowalski 1976 ) 。 一 条 Hom 子 句 包含 最 多 一 个 肯定 的 文字 ， 也 就 是 说 具有 以 下 形式 


aV™ biV- bsV..V- b, 
其 中 a 和 所 有 b; 都 是 肯定 的 文字 。 为 了 强调 一 个 肯定 文字 在 归结 中 的 关键 作用 ， 一 般 将 Hom 子 
句 写 为 以 肯定 文字 为 结论 的 蕴涵 式 : 

aeb, Ab, A\.… A 人 b, 

在 进一步 讨论 搜索 策略 之 前 ， 正 式 将 子 句 的 这 个 子 集 定义 为 Horn 子 句 集 。Hom 子 句 集 和 非 
确定 性 目标 约 减 策略 一 起 组 成 逻辑 程序 。 


定义 (地 辑 程序 ) 逻辑 程序 是 具有 以 下 形式 的 一 阶 谓词 演算 全 称 量化 表达 式 集合 : 
ac-b, 人 bs, Ab,s A.… Ab, 
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a 和 bi 都 是 肯定 的 文字 ， 有 时 称 为 原子 目标 。a 是 子 句 头 ，b 的 合 取 是 子 句 体 。 

这 些 表 达 式 是 一 阶 谓词 演算 Hom 子 句 。 它 有 三 种 形式 : 第 一 ， 原 来 子 自 没有 肯定 的 文字 ， 
第 二 ， 原 来 子 句 没有 否定 的 文字 ; 第 三 ， 原 来 子 句 有 一 个 肯定 的 文字 和 一 个 或 多 个 否定 的 文字 。 
相应 的 例子 分 别 见 1、2 和 3; 

1) 二 b Abs 人 … 人 b。 称 为 无 头子 句 或 要 测试 的 目标 : bi 与 b。 与 b。 与 … 与 b 。 

2 ) ai 一 


a 


ant 一 
称 为 事实 。 
3) ae_b, 入 …Ab， 
称 为 规则 关系 。 


Hom 子 句 演算 只 允许 上 面 的 形式 ; 全 左边 只 能 有 一 个 文字 ， 而 且 这 个 文字 必须 是 肯定 的 。 
全 右边 的 所 有 文字 也 是 肯定 的 。 

将 最 多 有 一 个 肯定 文字 的 子 句 化 简 为 Horn 形式 需要 三 步 。 首 先 ， 选 出 子 名 中 的 肯定 文字 
(如 果 存 在 ) ， 并 将 其 移 到 最 左边 (运用 V 的 交换 律 ) 。 这 个 肯定 的 文字 就 成 为 了 Hom 子 句 的 头 。 
然后 ， 运 用 下 面 的 规则 将 整个 子 句 化 为 Hom 形式 : 


avnbiVvnbVvV…vnb=ar (nbVvnbVvV…VvVnb) 
最 后 ， 使 用 德 . 摩根 定律 将 表达 式 变 为 : 

ab; Ab, A-… A 人 Db, 

其 中 可 以 用 人 的 交换 律 来 安排 子 目 标 b 的 顺序 。 

应 该 注意 的 是 ， 不 是 任意 子 句 空间 中 的 子 句 都 能 化 为 Hom 形式 。 有 些 子 句 ， 如 pV9q，, 没有 
Hom 形式 。 要 生成 Hom 子 句 ， 原 子 句 中 至 多 只 能 有 一 个 肯定 的 文字 。 如 果 这 一 标准 不 满足 ， 那 
么 就 需要 重新 考虑 原来 对 问题 的 谓词 演算 描述 。Hom 形式 表示 法 的 好 处 是 形成 一 个 有 效 的 反 驶 
策略 ， 这 在 稍 后 将 进行 介绍 。 

逻辑 程序 的 计算 算法 通过 非 确定 性 的 目标 约 简 进行 。 在 每 个 具有 以 下 形式 的 目标 的 计算 步 又 : 

+ 一 8 人 a 人 … 人 al 
解释 器 任意 地 选择 某 个 alj，1 友 ij 去 n。 然 后 非 确 定性 地 选择 一 个 子 句 ; 

at bj 人 b, 人 和 人.…A 人 Ab， 

使 得 a' 应 用 代 换 ; 后 与 ai 合 一 ， 并 且 应 用 这 个 子 句 来 约 简 目标 。 新 的 目标 变 为 : 

二 (ai 人 … 人 ai AbAb,A:…Ab .Aa A Aa)t 
非 确定 性 目标 约 简 的 过 程 一 直 进行 到 目标 集 为 空 才 结束 计算 。 

在 约 简 子 目标 时 ， 如 果 通 过 施加 一 个 顺序 来 消除 不 确定 性 ， 那 么 就 不 会 改变 计算 的 结果 。 所 
有 非 确 定性 方法 能 找到 的 结果 用 有 序 穷 举 搜索 也 能 找到 。 然 而 ,为 了 减少 不 确定 性 的 程度 ， 我 们 
可 以 定义 一 些 策略 ， 从 搜索 空间 中 修剪 不 必要 的 分 支 。 因 此 ， 实 际 逻辑 程序 设计 语言 主要 涉及 的 
间 题 是 为 编程 人 员 提 供 一 套 控制 和 减少 不 确定 性 (可 能 的 话 ) 的 工具 。 这 些 工 具 使 得 编程 人 员 
能 够 改变 目标 的 约 简 顺序 和 约 简 每 个 目标 所 使 用 的 子 句 集 。( 和 任何 图 搜索 一 样 ， 必 须要 采取 预 
防 措施 防止 证 明 过 程 中 出 现 死 循环 。) 
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归结 反驳 系统 逻辑 程序 的 抽象 说 明 有 清晰 的 语义 ，van Emden 和 Kowalski (1976) 证 明了 逻 
辑 程序 为 真 的 最 小 解释 是 程序 的 解释 。 像 Prolog 一 样 的 实际 程序 设计 语言 所 付出 的 代价 是 运行 程 
序 只 能 计算 出 相关 解释 的 一 个 子 集 (Shapiro 1987 ) 。 

顺序 Prolog 是 对 逻辑 程序 设计 模型 解释 器 的 一 个 近似 ， 它 可 以 在 冯 ，… 诺 依 曼 计算 机 上 有 效 运 
行 ， 这 也 是 本 书 中 到 目前 为 止 使 用 的 解释 器 。 顺 序 Prolog 同时 使 用 目标 在 子 句 中 的 顺序 和 子 句 在 
程序 中 的 顺序 来 控制 证 明 的 搜索 过 程 。 当 有 许多 目标 要 证 明 时 ，Prolog 一 般 是 从 左 到 右 依次 去 证 
明 。 在 搜索 一 个 目标 的 合 一 子 名 时，Prolog 总 是 按照 程序 设计 人 员 安 排 的 顺序 依次 检查 每 条 子 
句 。 每 做 一 个 选择 ， 就 在 记录 的 合 一 处 设置 一 个 回 淹 指 针 ， 当 原来 对 合 一 子 句 的 选择 失败 时 ， 可 
以 继续 选择 其 他 子 句 〈 还 是 按照 程序 设计 人 员 安 排 的 顺序 ) 。 如 果 这 种 搜索 在 子 句 空间 中 的 所 有 
可 能 的 子 句 都 失败 了 ， 那 么 求解 过 程 失 败 。 使 用 14. 1. 5 节 介 绍 的 前 枝 方法 可 以 有 效 地 尝试 深度 
优先 回溯 搜索 ， 解释 器 实际 上 可 以 不 用 访问 搜索 空间 中 所 有 的 子 名 组合 (解释 ) 。 

更 形式 化 地 ， 给 定 一 个 目标 : 


a Aas Aas A Aa, 
和 程序 P，Prolog 解释 器 顺序 搜索 P 中 第 一 条 头 部 与 ai 合 一 的 子 句 。 然 后 使 用 该 子 句 对 目标 进 
行 约 简 。 如 果 : 

a'e—b 人 \b, 人 "0 Ab, 
是 具有 合 一 & 的 约 简 子 句 ， 那 么 目标 子 句 就 变 为 : 

二 (b， Ab 人 …Ab,A 人 asA 人 as 人 … 和 人 an)8 

然后 ，Prolog 解释 器 继续 尝试 用 程序 P 中 第 一 个 与 最 左边 的 目标 合 一 的 子 句 进行 约 简 ， 本 例 
中 是 b 。 假 设 在 合 一 中 下 : 

b < 一 ci 人 cs 人 …A 人 ch 
那么 目标 变 为 : 

二 (ci 人 cz 人 … 人 ci 人 bz 人 …A 人 Ab, 入 as 人 as 入 … 人 an) 种 

注意 目标 列表 可 以 看 作 是 一 个 执行 深度 优先 搜索 的 stack， 如 果 Prolog 解释 器 找 不 到 一 个 可 
以 约 简 目标 的 合 一 ， 那 么 就 回 淹 到 最 近 的 合 一 选择 点 ， 恢 复 选 择 点 后 的 所 有 绑 定 ， 并 选择 能 够 
(按照 PP 中 的 顺序 ) 合 一 的 下 一 条 子 句 。 通 过 这 种 方式 ，Prolog 实现 了 其 从 左 到 右 、 深 度 优 先 的 
子 句 空间 搜索 。 

如 果 目 标 被 约 简 为 空子 句 〈 口 ) ， 那 么 约 简 为 : 

二 ( 口 ) 8 种 …@w 


使 用 的 合 一 组 合 〈 囊 …w) 提供 了 目标 子 名 为 真 的 一 个 解释 。 

除了 按 程序 中 子 句 顺 序 回 湖 外 ， 顺 序 Prolog 还 允许 前 枝 或 “!1”。 如 14.1.5 节 所 述 ， 剪 枝 本 
身 可 以 作为 一 个 目标 放置 在 子 句 中 。 解 释 器 遇 到 剪 枝 时 提交 了 当前 执行 路 径 ， 特 别 是 选择 包含 
该 剪 枝 的 子 句 后 所 做 的 合 一 的 子 集 。 剪 枝 同 时 告诉 解释 器 该 子 句 是 约 简 目 标的 惟一 可 选 方法 。 
当 剪 枝 后 子 句 中 遇 到 失败 时 ， 整 个 子 句 失败 。 

过 程 上 ， 剪 枝 使 得 保留 前 枝 之 前 约 简 子 句 及 其 成 分 的 回 湖 指 针 变 得 没 必要 。 因 此 ， 剪 枝 意 际 
着 模型 中 只 有 某 些 可 能 的 解释 被 计算 。 

作为 总 结 ， 我 们 将 顺序 Prolog 与 14. 2 节 的 归结 反 驶 模型 进行 比较 。 
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1) 归结 子 句 空间 是 逻辑 程序 设计 中 Hom 子 句 表达 式 的 超 集 。 每 个 子 句 必须 至 多 包含 一 个 肯 
定 文字 才能 化 为 Hom 形式 。 

2) 下 面 的 结构 可 以 将 问题 表示 为 Hom 形式 : 

a) 目标 


—b, Ab, A.…Ab, 


是 组 成 归结 反驳 要 检测 的 目标 的 子 句 语句 列表 。 每 个 a 按 顺序 被 取 反 、 合 一 和 约 简 ， 直到 发 现 
空 语句 (如果 可 能 )。 
b) 事实 


ai + 一 


aa2+ 一 


al 一 


是 归结 用 的 单个 子 句 。 
c) Hom 子 句 或 公理 


ab, Ab, A Ab, 


允许 约 简 匹配 的 子 目标 。 

3) 使 用 单个 优先 、 线 性 输入 形式 策略 〈 总 是 先 选择 事实 子 句 和 使 用 反目 标 及 其 后 续 分 解 ， 
见 14.2.4 节 ) 并 应 用 从 左 到 右 、 深 度 优先 〈 有 回 湖 ) 顺序 的 归结 子 句 选择 ， 归结 定理 证 明 程 序 
采用 类 似 Prolog 解释 器 的 方式 工作 。 因 为 该 策略 是 归结 完备 的 ， 所 以 其 使 用 能 够 保证 找到 解答 
〈 前 提 是 该 部 分 解释 集合 没有 被 剪 枝 剪 掉 ) 。 

4) 最 后 ， 证 明 中 合 一 的 组 合 提供 目标 为 真 的 解答 (解释 ) 。 这 与 14. 2. 5 节 中 的 解答 抽取 过 
程 完全 相同 。 记 录 目 标 文 字 中 合 一 的 组 合 ， 生 成 每 个 解答 解释 。 

Prolog 的 一 个 重要 问题 在 于 Hom 子 句 规则 右手 侧 的 反例 文字 的 使 用 。 这 需要 解释 器 能 执行 
封闭 世界 假设 (the closed world assumption) 。 在 谓词 演算 中 ， 证 明 - p(X) 就 是 证 明 p(X) 逻辑 上 
不 成 立 。 即 p(X) 在 使 得 公理 集 为 真 的 所 有 解释 下 都 不 成 立 。 基 于 第 2 章 的 合 一 算法 ， Prolog 解释 
器 提供 了 一 个 比 14. 2 节 的 通用 归结 反 驶 更 加 严格 的 结果 。 也 就 是 不 是 尝试 所 有 的 解释 ， 而 是 检 
查 那些 数据 库 中 显 式 的 解释 。 现 在 ， 我 们 将 这 些 约束 公理 化 以 便 弄 清 当 前 Prolog 环境 中 隐 含 的 
限制 。 

对 于 每 个 谓词 p， 和 属于 p 的 每 个 变量 X， 假设 al, as, …, a 构成 了 X 的 域 。 使 用 合 一 的 
Prolog 解释 器 ， 要 求 : 

1) 名 称 惟一 公理 。 对 于 域 中 的 所 有 原子 有 ai 二 a;， 除 非 它 们 等 价 。 这 意味 着 具有 不 同名 字 
的 原子 是 不 同 的 。 

2) 封闭 世界 公理 。 


P(X) 一 p(ai) Vp(as) V…Vp(an) 

这 就 是 说 ， 一 个 关系 的 惟一 可 能 实例 就 是 问题 描述 中 的 子 句 所 包含 的 关系 。 
3) 域 封闭 公理 。 
(X=a) V(X=a,) V:…V (X=a,) 

这 条 公理 保证 了 在 问题 描述 中 出 现 的 原子 构成 所 有 的 和 仅 有 的 原子 。 
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这 三 条 公理 隐 含 于 Prolog 解释 器 的 动作 中 。 它 们 可 以 被 看 作 是 添加 在 构成 问题 描述 的 Hom 
子 句 集中 ， 并 作为 对 Prolog 询问 的 解释 集合 的 限制 。 

直观 上 ， 这 意味 着 Prolog 假设 所 有 无 法 证 明 为 真 的 问题 都 不 成 立 。 这 可 能 会 带 来 异常 ， 如 果 
目标 的 真 值 在 当前 数据 库 中 实际 上 不 清楚 ， 那 么 Prolog 会 假设 它 为 假 。 

Prolog 还 隐 含 一 些 其 他 的 限制 ， 所 有 计算 语言 中 似乎 都 有 这 些 限制 。 其 中 除了 和 否定 问题 外 ， 
最 重要 的 是 逻辑 程序 设计 语义 模型 的 表示 违例 。 特 别 是 ， 缺 少 存在 检查 ( 见 2.3 节 ; 一 条 语句 可 
以 与 本 身 的 子 集 合 一 ) 和 前 校 的 使 用 。 目 前 这 一 代 的 Prolog 解释 器 需要 从 程序 设计 上 去 考虑。 有 
些 问题 的 出 现 是 因为 “目前 没有 已 知 有 效 的 方法 ”来 解决 问题 (存在 检查 情形 );， 其 他 问题 的 出 
现 是 因为 试图 优化 带 回 淹 的 深度 优先 搜索 (用 前 枝 显 式 控制 搜索 ) 。Prolog 的 许多 异常 是 由 于 试 
图 在 顺序 计算 机 上 实现 纯 逻 辑 程序 设计 的 不 确定 性 语义 造成 的 ， 其 中 也 包括 剪 枝 带 来 的 问题 。 

在 14.4 节 ， 我 们 介绍 自动 推理 的 可 选 推理 方案 。 


14.4 自动 推理 进一步 的 问题 


我 们 将 弱 方 法 问题 求解 器 描述 为 使 用 (a) 统一 表示 媒介 、(b) 面向 表示 法 语法 特征 的 可 靠 
推理 规则 并 用 、(e) 对 付 穷 举 搜索 组 合 问题 的 方法 或 策略 指导 规则 的 使 用 。 我 们 将 对 弱 方 法 求 
解 过 程 的 这 些 方面 进一步 解释 ， 作 为 本 章 的 总 结 。 


14. 4. 1 弱 方 法 求解 的 统一 表示 法 


归结 证 明 过 程 要 求 将 所 有 公理 转化 为 子 句 形式 。 这 种 统一 的 表示 法 使 我 们 可 以 化 简 子 句 ， 
并 简化 问题 求解 启发 式 的 设计 。 这 种 方法 最 主要 的 缺点 是 许多 有 价值 的 启发 式 信息 可 能 在 这 种 
统一 编码 中 丢失 。 

if…then 格式 的 规则 通常 比 其 他 i 理 法 上 的 变 体 传递 更 多 使 用 取 式 假 言 推理 和 产生 式 系统 搜索 
的 信息 ， 同 时 也 提供 了 一 种 使 用 规则 的 有 效 方 法 。 例 如 ， 假 设 我 们 要 表示 反 绎 推理 ， 见 8. 0 节 ， 
如 果 引 擎 不 旋转 并 且 灯 不 亮 ， 那 么 可 能 是 电池 坏 了 。 这 条 规则 给 出 了 如 何 检查 电池 的 建议 。 

规则 的 析 取 形式 使 得 关于 应 该 如 何 应 用 规则 的 启发 式 信息 变 得 模糊 了 。 如 果 将 规则 表示 为 
谓词 演算 ”~ turns_over 人 ~ lights->battery， 本 规则 的 子 句 形式 是 turns_overV lghts V battery。 
这 一 子 句 有 许多 等 价 形式 ， 每 一 种 形式 都 表示 一 个 不 同 的 含义 。 

(一 turns_over 入 一 lghts) 一 battery 

全 turns_over — (battery v lights)) 


(一 battery ^ 一 lights) 一 turns_over 
(一 battery 一 (turns_over v lights)) 


等 等。 
为 了 在 自动 推理 过 程 中 保留 启发 式 信息 ， 包 括 Nilsson (1980) 和 Bundy (1988) 在 内 的 几 个 
研究 人 员 提出 了 依据 人 类 专家 可 以 设计 规则 关系 的 方式 形成 规则 来 进行 编码 启发 式 的 推理 方法 。 
我 们 在 3. 3 节 的 与 或 图 推理 和 14. 3 节 的 自动 推理 中 已 经 建议 过 这 种 方法 。 基 于 规则 的 专家 系统 
还 允许 程序 设计 人 员 通 过 规则 结构 控制 搜索 。 我 们 通过 下 面 的 两 个 例子 进一步 发 展 了 这 一 想法 ， 
第 一 个 是 数据 驱动 ， 第 二 个 是 目标 驱动 。 这 两 种 方法 都 保留 了 规则 的 含义 ， 并 使 用 这 一 信息 指导 
与 或 图 中 的 搜索 。 

看 下 面 一 些 用 于 数据 驱动 推理 的 事实 、 规 则 (公理 ) 和 目标 : 

事实 


(avV(bAc)) 
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规则 (或 公理 ) : 

(a—(dA e)) 

(b 一 ff 

(c 一 (9gVh)) 

目标 : 

<—eVf 
e Vf 的 证 明 过 程 见 图 14-13 中 的 与 或 图 。 注 意 ， 数 据 驱 动 搜索 空间 中 的 V 关系 上 与 连结 和 人 关系 
上 或 连结 的 使 用 。 如 果 给 定 或 者 a 为 真 ， 或 者 b Ac 为 真 ， 那么 必须 对 两 个 析 取 项 都 进行 推理 ， 
以 保证 论证 是 真 值 保 持 的 ; 因此 这 两 条 路 径 是 结合 的 。 另 一 方面 ， 当 与 为 真 ， 就 可 以 只 检查 两 个 
合 取 项 之 一 。 规 则 匹配 选择 任意 中 间 语 句 ， 例 如 c， 用 一 条 前 提 与 其 匹配 的 规则 的 结论 代替 ， 例 
如 (gVh)。 图 14-13 中 语句 e 和 上 的 发 现 说 明 目 标 (eV 人 建立 了 。 


目标 :av 
SS 









< 


搜索 
方向 


图 14-13 命题 演算 中 使 用 与 /或 图 的 数据 驱动 推理 


以 一 种 类 似 的 方式 ， 我 们 可 以 使 用 目标 驱动 推理 与 或 图 上 的 规则 匹配 。 当 一 个 目标 描述 包 
括 一 个 V 时， 如 图 14-14 的 例子 ， 每 个 替代 方案 都 可 以 被 独立 地 开发 以 建立 目标 。 如 果 目 标 是 一 
个 合 取 ， 则 当然 ， 两 个 合 取 项 都 必须 被 建立 。 

目标 : 

(aV (bAc)) 

规则 (或 公理 ): 

(fAd)}—a 

(e 一 (bAc)) 

(g—d) 

事实 : 
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虽然 这 些 例子 来 自 于 命题 演算 ,但 是 使 用 谓词 演算 事实 和 规则 时 产生 的 是 相同 的 搜索 。 合 
一 使 得 文字 可 以 将 推理 规则 应 用 于 搜索 空间 的 不 同 分 支 。 当 然 ， 在 搜索 空间 的 不 同 与 分 支 中 ， 合 


一 必须 是 一 致 的 〈 即 能 统一 的 ) 。 

本 小 节 给 出 了 问题 求解 弱 方 法 的 一 个 有 助 
于 在 表示 媒介 中 保存 启发 式 信息 的 解决 方法 ， 
该 方法 在 本 质 上 是 专家 系统 的 推理 引擎 允许 程 
序 员 在 规则 中 定义 控制 和 启发 式 信息 的 方法 。 
专家 系统 依赖 于 规则 形式 来 控制 搜索 ， 而 不 是 
完全 依赖 一 般 的 问题 求解 弱 方 法 ， 如 规则 顺序 
或 规则 中 前 提 的 顺序 。 这 种 方法 损失 了 将 统一 
的 证 明 过 程 〈 如 归结 ) 应 用 到 整个 规则 集合 
的 能 力 。 如 图 14-13 和 图 14-14 的 例子 中 ， 还 
可 以 使 用 取 式 假 言 推理 。 使 用 深度 优先 、 宽 度 
优先 或 者 最 佳 优先 搜索 的 产生 式 系统 控制 为 实 
现 规 则 系统 提供 了 一 种 弱 方 法 推理 体系 结构 
( 见 第 4、6 和 8 章 中 的 例子 ) 。 


14. 4.2 可 选 推理 规则 


归结 是 目前 为 止 我 们 所 介绍 的 最 通用 的 可 
靠 推理 规则 。 为 了 使 得 归结 更 有 效 ， 还 创造 了 
几 个 更 复杂 的 推理 规则 。 这 里 我 们 主要 介绍 其 
中 的 两 个 : 超 归结 和 参数 调制 。 

前 面 介绍 过 ， 归 结实 际 上 是 一 个 特殊 的 变 
体 ， 刚 好 两 个 子 句 对 消 的 归结 被 称 为 二 元 归 
结 。 一 个 超 归结 的 成 功 应 用 可 以 取代 一 系列 二 





搜索 
方向 


人 > 





图 14-14 命题 演算 中 使 用 与 或 图 的 目标 驱动 推理 


元 归结 并 生成 一 个 子 句 。 在 一 个 步骤 中 ， 超 归结 消解 一 个 具有 否定 文字 的 子 句 ( 称 为 核 ) 以 及 
一 些 全 部 是 肯定 文字 的 子 句 〈 称 为 卫星 ) 。 这 些 卫 星子 句 必须 具有 一 个 肯定 文字 能 够 匹配 核 的 否 
定 文字 。 同 时 ， 核 的 每 个 否定 文字 都 必须 有 一 个 卫星 。 因 此 ， 超 归结 应 用 的 结果 是 一 个 全 部 是 肯 


定 文字 的 子 句 。 


超 归结 的 一 个 优点 是 每 次 超 归 结 推理 都 只 产生 一 条 全 部 是 肯定 文字 的 子 句 。 因 为 这 一 过 程 
没有 中 间 结 果 生 成 ， 所 以 子 句 空间 保持 在 较 小 的 规模 。 推 理 步骤 中 所 有 子 句 上 的 合 一 必须 是 一 


致 的 。 


作为 一 个 超 归 结 的 例子 ， 看 下 面 的 子 句 集 : 


” married(X，Y) V- mother(X，Z) Vfather(Y，Z) 
married(kate，george) Vilikes(george，kate) 


mother( kate, sarah) 


使 用 超 归 结 可 以 在 一 步 中 得 出 结论 : 


father( george, sarah) V likes( george, kate) 


例子 中 的 第 一 条 子 句 是 核 ;后 面 的 两 条 是 卫星 。 卫 星 都 是 肯定 文字 ， 并 且 有 一 个 可 以 与 核 中 的 否 
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定 文字 相 匹 配 。 注 意 核 为 什么 恰好 是 下 面 含义 的 子 句 形式 : 
married( X, Y) A mother( X, 2Z)—»father(Y, 2Z) 

这 条 规则 的 结论 是 最 终结 果 的 一 部 分 。 注 意 没 有 中 间 结 果 产 生 ， 例 如 : 
” mother(kate，Z) V father( george, 2) V likes( george, kate) 


但 在 相同 子 句 空间 上 的 任何 二 元 归结 证 明 中 都 有 上 述 子 句 产生 。 

单独 使 用 超 归结 时 ， 超 归结 是 可 靠 的 和 完备 的 。 当 超 归结 与 其 他 策略 (如 成 组 支持 策略 ) 
组 合 使 用 时 ， 可 能 会 危及 完备 性 (Wos et al. 1984) 。 虽 然 在 大 多 数 使 用 超 归结 的 环境 中 ， 子 句 通 
常 按照 名 称 和 每 个 文字 的 肯定 或 否定 制定 属性 索引 ， 然 而 还 是 需要 特殊 的 搜索 策略 来 组 织 卫星 
以 及 核子 句 ， 这 样 可 以 为 超 归结 推理 有 效 地 准备 核 和 卫星 子 句 。 

在 定理 证 明 机 制 的 设计 中 ， 一 个 重要 的 难题 是 等 价 性 的 控制 。 特 别 复杂 的 是 应 用 领域 中 ， 如 
数学 ， 许 多 事实 和 关系 都 有 多 种 表示 法 ， 例 如 应 用 结合 律 和 交换 律 所 获得 的 表达 式 。 用 一 个 非常 
简单 的 例子 就 可 以 使 你 明确 这 一 点 ， 考 虑 一 下 能 够 表示 算术 表达 式 3+(4+5) 的 多 种 方式 ,包括 
3+((4+0) +5) 。 这 是 一 个 复杂 的 问题 ， 因 为 表达 式 在 自动 数学 问题 求解 中 需要 被 代 换 、 合 一 
以 及 检查 与 其 他 表达 式 的 等 价 性 。 

解 调 是 改写 表达 式 使 其 自动 呈现 选 定 的 规范 形式 的 过 程 。 用 来 生成 这 种 规范 形式 的 个 体 子 
句 是 解 调子 。 解 调子 规定 了 不 同 表 达 式 的 等 价 性 ， 允 许 用 表达 式 的 规范 形式 代替 原 表 达 式 。 恰 当 
地 使 用 解 调子 就 可 以 让 所 有 新 产生 的 信息 在 加 入 子 句 空间 之 前 都 化 简 为 特定 的 形式 。 例 如 ， 我 
们 有 如 下 解 调子 : 


equal( father( father( X) ) ，grandfather(X) ) 
及 新 子 句 ; 

age(father(father( sarah) ) ，86) 
在 将 这 条 新 子 句 加 入 子 句 空间 之 前 ， 先 应 用 解 调子 ， 然 后 加 入 下 面 的 子 句 : 

age(grandfather( sarah) ，86) 
这 里 的 等 价 问题 是 命名 问题 。 我 们 希望 将 一 个 人 分 类 为 father(father(X)) ， 还 是 grandfather( X)? 
类 似 地 ， 可 以 为 所 有 家 庭 关 系 挑选 出 规范 的 名 称 : brother(father(Y)) 是 uncle(Y) ， 等 等 。 一旦 
选 定 了 存储 信息 的 标准 名 称 ， 接 着 就 可 以 设计 解 调 子 ， 然 后 将 所 有 新 信息 化 简 为 这 种 形式 ， 如 


equal 子 句 。 注 意 解 调 子 都 是 个 体 子 句 。 
参数 调制 是 项 层次 上 等 价 代 换 的 泛 化 。 例 如 ， 给 定 表达 式 : 


older(mother(Y) ，Y) 
以 及 等 价 关 系 : 
equal( mother( sarah) ，kate) 
使 用 参数 调制 可 以 得 到 结论 : 
older( kate, sarah) 


注意 : 对 kate 的 {sarah/Y} 和 mother( sarah) 的 项 层次 匹配 和 置换 。 解 调和 参数 调制 之 问 的 一 个 
主要 区 别 是 后 者 在 等 式 谓词 和 进行 代 换 的 谓词 的 参数 中 都 允许 非 平 凡 变 量 置 换 。 解 调 根据 解 调 
子 进 行 置换 。 可 能 要 使 用 多 个 解 调 子 才能 将 一 个 表达 式 化 为 最 终 形式 ; 参数 调制 在 任何 情况 下 
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通常 都 只 使 用 一 次 。 

我 们 给 出 了 这 些 强 有 力 的 推理 机 制 的 简单 的 例子 。 我 们 应 该 把 它们 看 作 是 在 归结 子 句 空间 
中 使 用 的 更 通用 的 技术 。 像 我 们 看 过 的 所 有 其 他 推理 规则 一 样 ， 它们 与 所 选 的 表示 法 密切 相关 ， 
并 且 必 须 使 用 正确 的 策略 进行 控制 。 


14. 4. 3 ”归结 反驳 支持 下 的 问答 机 制 


14.2.5 节 中 盖 述 了 归结 反驳 过 程 与 对 原始 问题 ( 即 欲 证 的 定理 ) 的 回答 产生 过 程 之 间 的 一 
种 自然 的 契合 。Stuart Shapiro 和 其 同事 ( Burhans 和 Shapiro 2005) 证 明了 归结 反驳 该 如 何 为 间 答 
机 制 提供 有 用 的 范例 。 

Burhans 和 Shapiro 发 现 反 驶 过程 可 以 把 归结 反驳 过 程 产生 的 子 名 划分 为 三 种 类 型 ， 每 -种 类 
型 对 应 于 回答 不 同 的 问题 ( 即 当 下 所 证 定理 )。 在 他 们 的 研究 中 ， 具 有 相关 性 的 子 句 均 被 认为 是 
可 能 采取 的 回答 ， 相 关 性 由 问题 (和 欲 证 的 定理 ) 和 知识 库 (证 明 中 的 子 句 集 ) 来 决定 ,而且 由 
否定 目标 的 子 旬 形式 衍生 而 来 的 任何 子 句 均 被 认为 具有 相关 性 。 

反驳 证 明 被 分 为 三 种 回答 类 型 : 特殊 、 一 般 和 假设 。 我 们 依据 组 成 子 句 的 文字 所 共有 的 变量 
来 区 别 这 三 种 类 型 。 所 得 结果 与 上 下 文 无 关 ， 即 结果 可 以 在 任何 基于 支持 集 的 反 驶 、 实 际 问答 机 
制 中 得 到 运用 。 

特殊 回答 有 时 也 被 称 作 扩 充 回 答 (Green 1969a，b) ， 它 与 基本 术语 集 相关 ， 这 些 术语 对 应 
于 反 驶 产生 过 程 中 蔡 换 变量 值 的 常量 。 例 如 ,问题 “有 人 在 家 吗 ?” 被 转换 为 否定 目标 “没有 人 
在 家 ”。 当 发 现 “Amy 在 家 ”时 就 会 产生 反驳 。 反 了 驶 过 程 产生 的 个 体 集合 将 提供 这 种 特殊 回答 。 

一 般 回答 也 被 称 作 内 涵 型 回答 ( Green 1969a，b) ， 对 应 于 回答 子 句 的 所 有 的 非 基 本 实例 ， 
其 中 国 答 子 句 与 反驳 相关 。 例 如 ， 对 于 问题 “家 里 有 人 吗 ?”， 任 何 基于 变量 的 子 句 (假定 这 些 
子 句 蕴涵 于 子 句 空间 或 能 由 子 名 空间 推理 得 出 ) ， 例 如 “所 有 的 孩子 均 在 家 中 ”， 将 组 成 一 般 回 
答 的 集合 。 

第 三 种 是 假设 回答 ， 也 被 称 作 条 件 或 资格 回答 。 这 种 类 型 的 回答 采用 规则 的 形式 ， 其 先驱 有 
基本 的 变量 ， 其 后 继 与 否定 的 答案 问题 相 匹配 。 例 如 ， 通 过 搜索 确 知 Allen 是 否 在 家 后 ， 问 题 
“家 里 有 人 吗 ?” 可 以 与 子 名 “如果 Allen 在 家 则 Amy 在 家 ” 相 匹 配 。 更 多 细节 请 参见 Burhans 和 
Shiparo (2005 ) 。 


14. 4.4 搜索 策略 及 其 使 用 


有 时 应 用 领域 对 推理 规则 和 指导 规则 使 用 的 启发 式 有 特殊 要 求 。 我 们 已 经 看 过 了 解 调 子 在 
等 价 代 换 中 的 使 用 。Bledsoe 在 他 的 自然 演绎 系统 中 为 准备 归结 证 明 的 定理 确定 了 两 个 重要 的 策 
略 。 他 将 这 两 个 策略 称 为 分 裂 (split) 和 化 简 (reduce) (Bledsoe 1971) 。 

Bledsoe 设计 的 策略 用 于 数学 ， 特 别 是 应 用 于 集合 论 中 。 这 些 策略 的 作用 是 将 一 个 定理 分 裂 
为 几 个 部 分 ， 使 其 容易 用 传统 方法 证 明 ， 如 归结 。A A 入 B 的 证 明 等 价 于 A 的 证 明和 B 的 证 明 。 类 
似 地 ,证 明 A <> B 就 是 要 证 明 A 一 B 和 AB。 

启发 式 化 简 还 试图 将 大 的 证 明 分 解 为 几 个 组 成 部 分 。 例 如 ，s e ANB 的 证 明 可 以 分 解 为 se 
A 的 证 明和 seB 的 证 明 。 另 外 一 个 例子 是 ， 要 证 明 - (A UB) 的 某 些 性 质 为 真 ， 可 以 通过 证 明 
了 A 和 -= B 的 茶 些 性 质 为 真 。Bledsoe 希望 通过 将 大 的 证 明 分 解 成 小 块 来 限制 搜索 空间 ， 他 的 启 
发 式 中 还 包括 有 限制 地 使 用 等 价 代 换 。 

正如 本 书 通 篇 都 提 到 的 ， 适 当地 使 用 启发 式 更 像 是 一 门 艺 术 ， 因 为 其 要 将 应 用 领域 同 表示 
法 和 推理 规则 一 起 考虑 。 我 们 引用 一 些 通 用 的 能 言 来 结束 本 章 ， 所 有 这 些 焦 言 在 某 些 情 况 下 都 


锚 14 童 自动 挫 理 427 








可 能 不 正确 ,但 是 如 果 小 心 使 用 ， 将 非 党 有效。 这些 卵 言 总 结 了 本 领域 中 研究 人 员 《 Bledsoe 
1971, Nilsson 1980, Wos et al. 1984 ,Wos 1988) 的 思想 和 我 们 自 己 在 弱 方 法 问题 求解 器 方面 的 
思考 。 我 们 中 立 的 引用 它们 。 

尽 可 能 使 用 包含 较 少 文字 的 子 句 。 

应 用 通用 推理 之 前 先 将 任务 分 解 为 子 任务 。 

恰当 时 尽量 使 用 等 式 谓词 。 

用 解 调子 生成 规范 形式 。 

用 等 价 谓词 进行 推理 时 要 使 用 参数 调制 。 

使 用 保持 “完备 性 ”的 策略 。 

对 包含 潜在 矛盾 的 子 句 集 使 用 成 组 支持 策略 。 

在 归结 中 优先 使 用 个 体 ， 这 样 可 以 缩短 结果 子 句 的 长 度 。 

对 新 子 句 执行 包含 subsumption) 检查 。 

在 子 名 和子 句 中 的 文字 上 使 用 排序 机 制 来 反映 你 的 直觉 和 问题 求解 经 验 。 


14.5 结语 和 参考 文献 


弱 方 法 问题 求解 器 要 求 选择 一 种 表示 方法 、 推 理 机 制 和 搜索 策略 。 这 三 个 选择 杂乱 地 交织 
在 一 起 ,无 法 孤立 于 其 他 两 个 做 出 决定 。 应 用 领域 也 会 影响 表示 法 、 推 理 规则 和 策略 的 选择 。 在 
做 出 这 些 选 择 时 应 该 认真 考虑 上 一 节 结 尾 的 “篇 言 ”。 

归结 是 不 断 约束 可 能 的 解释 直到 发 现 添 加 了 否定 目标 的 子 旬 空间 不 一 致 的 过 程 。 本 文 并 不 
深入 讨论 归结 的 可 靠 性 或 者 归结 反 了 驶 的 完备 性 。 对 这 些 问题 的 证 明 是 以 Herbrand 定理 (Chang 
and Lee 1973) 和 子 句 集 可 能 解释 的 概念 为 基础 的 。 我 们 在 此 鼓励 有 兴趣 的 读者 去 阅读 关于 这 些 
证 明 的 参考 文献 。 

许多 其 他 参考 资料 也 是 很 不 错 的 :《 Automated Theorem Proving: A Logical Basis》 一 书 中 提出 
了 一 种 形式 化 方法 (Loveland 1978 ) 。 《The Automation of Reasoning: Collected Papers, 1957 to 
1970》 (Siekmann and Wrightson 1983a，b) 这 套 从 书 中 收集 了 本 领域 中 的 许多 经 典 早 期 文章 。 
Nilsson (1980)、 Weyhrauch (1980)、 Genesereth 与 Nilsson (1987)、 Kowalski (1979b ) 、Lloyd 
(1984)、Wos 等 (1984) 和 Wos (1988) 等 都 对 自动 推理 中 的 重要 观点 做 了 有 价值 的 总 结 。 
Robinson (1965) 和 Bledsoe (1977) 对 该 领域 做 出 了 基础 性 贡献 。Boyer 和 Moore (1979) 在 定 
理 证 明 方面 做 出 了 重要 研究 贡献 。《Computers and Thought》 (Feigenbaum 和 Feldman 1963 ) 和 
《Human Problem Solving》 (Newell 和 Simon 1972) 上 给 出 了 Newell 和 Simon 及 其 同事 在 卡 内 基 技 
术 研 究 所 所 做 的 早期 定理 证 明 工 作 。Burhans 和 Shapiro (2005) 对 基于 归结 反 驶 的 问题 回答 机 制 
做 了 描述 和 研究 。 

CADE (Conference on Automated DEduction) 成 为 了 发 表 自 动 推 理 中 最 新 结果 的 主要 论坛 。 
模型 检查 、 验 证 系统 和 可 伸缩 知识 表示 系统 是 目前 的 研究 热点 (McAllester 1999，Ganzinger et 
al. 1999 ，Veroff 和 Spinks 2006 ) 。Wos 及 其 同事 在 Argonne 国家 实验 室 进行 了 重要 的 研究 。Veroff 
(1997) 为 纪念 Wos 发 表 了 一 组 关于 自动 推理 的 论文 。 爱 丁 堡 大 学 的 Bundy 在 自动 推理 方面 所 做 
的 工作 (Bundy 1983，1988) 很 重要 。 在 得 克 萨 斯 奥斯汀 大 学 进行 的 扩展 Boyer-Moore 定理 证 明 
程序 方面 的 研究 也 非常 重要 ， 见 《Computer-Aided Reasoning: ACL2 Case Studies》 ( Kaufmann et 
al. 2000 ) 。 


14.6 习题 
1. 理解 2. 4 节 中 基于 逻辑 的 财务 顾问 程序 ， 将 问题 的 谓词 描述 化 为 子 名 形式 ， 并 用 归结 反 驶 回答 一 些 询 
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间 ， 如 某 个 特定 的 投资 者 是 否 应 该 做 出 investment( combination) 。 


. 用 归结 法 证 明 第 2 章 练习 12 中 Wirth 的 描述 。 
. 用 归结 法 回答 例 3.3.4 中 的 询问 。 
. 我 们 在 第 5 章 介 绍 了 骑士 周游 问题 的 一 个 简化 形式 。 将 path3 规则 化 为 子 句 形式 ， 并 使 用 归结 法 回答 一 


些 询问 ， 如 path3(3,6) 。 然 后 ， 用 子 句 形式 的 递归 路 径 调用 回答 询问 。 


. 如 何 用 归结 法 实现 “产生 式 系统 ”搜索 ? 
. 如 何 用 归结 法 进行 数据 驱动 推理 ? 用 此 方法 描述 练习 1 的 搜索 空间 。 在 大 规模 问题 空间 中 会 出 现 什 么 


问题 ? 


: 用 归结 法 回答 对 15. 3 节 “ 农 夫 、 狼 、 山 羊 和 卷心菜 ”问题 的 询问 。 
- 用 归结 法 解决 下 面 来 自 Wos 等 人 的 (1984) 难题 。 四 个 人 : Roberta、 Thelma、Steve 和 Pete 拥有 八 项 不 


同 的 工作 。 每 个 人 正好 有 两 项 。 这 些 工作 分 别 且 厨师、 保安、 护士、 接线员、 警官 、 教 师 、 演员 和 拳击 
手 。 护 士 是 一 个 男性 。 厨 师 的 丈夫 是 接线 员 。Roberta 不 是 拳击 手 。Pete 没有 受过 九 年 级 后 的 教育 。Ro- 
berta、 厨 师 和 警官 一 起 出 去 打 高 尔 夫 球 。 谁 从 事 哪 项 工作 ? 说 明 添加 性 别 偏见 会 如 何 改变 问题 ? 


. 举 出 两 个 超 归 结 的 例子 ， 其 中 核 至 少 具有 4 个 文字 。 
10, 


为 sum 写 一 个 解 调子 ， 使 得 子 句 equal( ans, sum(5, sum(6, minus(6) ))) 可 以 化 简 为 equal( ans, sum 
(5,0))。 再 写 一 个 解 调子 ， 将 结果 化 简 为 equal(ans, 5) 。 


" 选择 六 个 家 庭 关系 的 “规范 集 ”。 写 出 解 调子 ,将 关系 的 可 选 形式 化 简 为 标准 集 。 例 如 ，“ 和 母亲 的 兄 


弟 是 “ 奥 奥 ”。 


- 理解 图 14-5 中 的 “快乐 的 学 生 ” 问 题 ， 并 在 其 求解 中 应 用 14. 2.4 节 中 的 三 个 反驳 策略 。 
- 将 下 面 的 谓词 演算 表达 式 化 为 子 句 形式 ; 


V(X) (PC 一 TY(YDIP(O) 一 p(KX YF) A= A(Y)[q(X,Y)-*p(Y)])) 


为 下 面 的 数据 驱动 谓词 演算 推理 画 出 与 或 图 。 

事实 : ~ d(f) V[Ib(f A c(f)] 

规则 : ~ d(X) 一 ” a(X),b(Y)—e(Y), g(W)*—c(W) 

证 明 : ” a(Z) Ve(2) 

证 明 线 性 输入 形式 策略 不 是 反驳 完 备 的 。 

为 下 面 的 问题 画 出 与 或 图 ， 说 明 为 什么 不 可 能 得 出 下 面 的 目标 ; 
rZ)Vs(Z)? 


事实 : P(X) V q(X) 

规则 : p(a) 一 r(a),q(b) 一 s(b) | 

用 因 式 分 解 和 归结 的 方法 为 下 面 的 子 句 生成 一 个 反 驶 : p(X) V p(f(Y)) 和 ~ p(W) V= p(f(Z)) 。 试 着 不 用 
因 式 分 解 来 生成 一 个 反驳 。 

导出 图 14-1 定理 的 一 个 归结 证 明 。 ， 

逻辑 程序 设计 的 一 个 可 选 语义 模型 是 平滑 并 行 Prolog。 试 比较 14.3 节 中 的 Prolog 和 平滑 并 行 Prolog 
(Shapiro 1987 ) 。 


第 15 章 自然 语言 理解 


必须 认识 到 在 术语 解释 已 知 的 情形 下 关注 “一 个 句子 的 概率 ”是 总 无 意义 的 ,….… 
诺 姆 ， 乔 姆 斯 基 ，(1965 ) 





我 理解 你 话 中 的 狂怒 ， 但 不 理解 你 的 话 。 
一 一 威廉 . 莎士比亚, 《奥赛 罗 》 
他 们 刚 从 一 场 文字 的 盛 窒 上 ， 丛 了 些 吃 剩 的 肉 皮 鱼 骨 回来 。 
一 一 威廉 落 士 比 亚 ,《 爱 的 徒劳 》 
我 希望 有 人 能 告诉 我 “Ditty wah ditty” 的 意思 。 
一 一 Arthur Blake 


15.0 自然 语言 理解 问题 


用 自然 语言 进行 交流 ， 不 管 是 以 文字 的 形式 还 是 以 交谈 的 形式 ， 都 严重 依赖 于 参与 者 的 语 
言 技能 、 感 兴趣 的 领域 知识 和 领域 内 的 谈话 预期 。 理 解 语言 不 仅仅 是 对 文字 的 翻译 ， 还 需要 推测 
说 话 人 的 目的 、 知 识 和 假设 ， 以 及 交谈 的 上 下 文 语 境 。 实 现 一 个 自然 语言 理解 程序 需要 表示 出 所 涉 
及 领域 中 的 知识 和 期 望 ， 并 能 进行 有 效 的 推理 。 还 必须 考虑 一 些 重要 的 问题 ， 如 非 单调 、 信 念 改 
变 、 比 喻 、 规 划 、 学 习 和 人 类 交互 的 实际 复杂 性 。 然 而 ， 这 些 问题 正 是 人 工 智能 本 身 的 核心 问题 。 

例如 ， 考 虑 下面 从 莎士比亚 的 《十 四 行 词 第 18 首 》 中 选 出 的 几 行 ， 

我 该 把 你 比拟 做 夏 日 吗 ? 
你 比 夏 日 更 可 爱 ， 更 温 婉 : 
狂风 会 把 五 月 的 娇 蔓 吹 落 ， 
夏天 出 租 的 期 限 又 太 短暂 : 


我 们 无 法 单纯 从 字面 意思 上 来 理解 这 几 行 。 我 们 必须 提出 以 下 问题 : 

1) 莎士比亚 写作 的 意图 是 什么 ? 我 们 必须 了 解 许多 关于 人 类 的 爱 及 其 社会 习俗 才能 开始 理 
解 这 些 句 子 。 或 者 他 仅仅 是 试图 拿 一 些 东 西 给 出 版 商 换取 稿费 ? 

2) 莎士比亚 为 什么 将 他 心爱 的 人 比 作 夏 日 ? 他 是 说 她 有 24 小 时 那么 长 并 且 能 导致 晒 黑 吗 ? 
又 或 是 她 使 他 感觉 到 夏天 的 温暖 和 美丽 ? 

3) 这 一 段 要 得 出 什么 样 的 推论 ? 莎士比亚 的 原意 并 没有 明确 地 显示 在 文字 中 ; 必须 使 用 比 
喻 、 类 比 和 背景 知识 才能 推断 出 来 。 例 如 ， 我 们 该 如 何 想到 将 狂风 和 夏天 的 短暂 比 作对 人 类 生命 
和 爱情 之 短暂 的 悲叹 。 

4) 我 们 如 何 理解 比喻 ? 文字 当中 并 没有 涉及 明确 的 诸如 桌子 上 的 方块 这 样 的 物体 : 上 述 诗 
歌 的 意思 核心 在 于 选用 夏 日 的 特征 来 比 作 爱人 ， 有 的 特征 被 选用 ， 有 的 特征 被 忽略 ， 而 且 最 重要 
的 是 ， 为 什么 这 些 特征 被 选用 ， 而 另外 一 些 特征 被 忽略 ? 

5) 基于 计算 机 的 文字 语音 系统 必须 要 知道 关于 抑 扬 格 的 五 步 格 诗 的 知识 吗 ? 计算 机 如 何 能 
总 结 出 这 首 诗 的 主要 内 容 ， 或 者 从 诗集 中 智能 地 找到 它 ? 

我 们 不 能 将 落 士 比 亚 的 句子 按照 单词 在 字典 中 的 意思 串 连 在 一 起 ， 然 后 将 结果 称 为 对 语 表 
的 理解 。 我 们 必须 运用 一 个 复杂 的 过 程 来 理解 词 的 意思 ， 分 析 句 子 ， 建 立 对 语义 意思 的 表示 ， 并 
根据 我 们 在 问题 领域 中 的 知识 来 解释 其 中 的 意思 。 
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第 二 个 例子 是 关于 某 计算 机 科学 系 在 网 上 招聘 的 广告 内 容 ， 下 面 给 出 了 一 部 分 内 容 。 


新 墨西哥 大 学 计算 机 科学 系 …… 有 两 个 预备 终身 教 职 空缺 。 我 们 希望 招聘 对 以 下 领域 感 兴趣 
的 人 员 : 

软件 ， 包 括 分 析 、 设 计 和 开发 工具 …… 

系统 ， 包 括 体系 结构 、 编 译 器 、 网 络 …… 

申请 者 必须 具有 以 下 专业 的 博 十 学 位 …… 

我 系 在 自 适应 计算 、 人 工 智能 等 领域 具有 国际 公认 的 研究 计划 …… 并 且 与 圣 达 菲 研究 所 以 及 
几 个 国家 实验 室 开展 了 深入 的 研究 合作 …… 


理解 这 条 招聘 广告 时 会 出 现 几 个 问题 : 

1) 只 明确 表明 “预备 终身 教 职 " ， 读 者 如 何 知道 这 条 广告 是 招聘 教师 ? 任期 多 长 ? 

2) 在 大 学 环境 中 工作 需要 掌握 什么 软件 和 软件 工具 的 知识 ?Cobol、Prolog 还 是 UML? 这 些 
都 没有 明确 提 到 。 一 个 人 需要 有 许多 关于 大 学 授课 和 研究 的 知识 才能 理解 这 些 要 求 。 

3) 为 什么 要 在 大 学 招聘 广告 中 提 到 国际 公认 的 研究 计划 和 与 著名 研究 所 的 合作 ? 

4) 计算 机 如 何 概括 广告 的 主要 意思 ? 计算 机 必须 掌握 什么 知识 才能 为 一 个 正在 找 工作 的 求 
职 博士 从 万 维 网 上 智能 地 检索 到 本 广告 ? 

自然 语言 理解 中 (至少 ) 有 三 个 主要 问题 。 第 一 ， 需 要 具备 大 量 的 人 类 知识 。 语 言 动 作 描 
述 的 是 复杂 世界 中 的 关系 。 关 于 这 些 关系 的 知识 必须 是 理解 系统 的 一 部 分 。 第 二 ， 语 言 是 基于 模 
式 的 : 音素 构成 单词 ， 单 词组 成 短语 和 句子 。 音 素 、 单 词 和 句子 的 顺序 不 是 随机 的 。 没 有 对 这 些 
元 素 的 一 种 规范 性 的 使 用 ， 就 不 可 能 达成 交流 。 最 后 ， 语 言 动作 是 主体 (agent) 的 产物 ， 或 者 
是 人 或 者 是 计算 机 。 主 体 处 在 个 体 层面 和 社会 层面 的 复杂 环境 中 。 语 言 动作 都 是 有 其 目的 性 的 。 

本 章 对 自然 语言 理解 以 及 用 来 解决 该 问题 的 计算 技术 中 的 问题 进行 介绍 。 虽 然 本 章 主 要 集 
中 在 文本 理解 上 ， 但 是 语音 理解 与 合成 系统 也 必须 解决 这 些 问题 ， 当 然 还 有 另外 一 些 与 特定 上 
下 文中 词义 识别 和 消 战 有 关 的 问题 。 

因为 理解 无 约束 的 语言 需要 一 定 的 知识 ， 所 以 早期 的 人 工 智 能 程序 比较 关注 微观 世界 
(microworld) 并 取得 了 一 些 进步 ， 即 只 运用 很 少 的 领域 知识 。Temy Winograd 的 SHRDLU ( Wino- 
grad 1972) 是 较 早 使 用 这 种 方法 的 程序 之 一 ， 该 程序 能 够 交谈 一 些 关 于 积木 世界 的 问题 ， 其 中 包 
含 不 同形 状 和 颜色 的 积木 以 及 一 只 能 移动 积木 的 手 ， 如 图 15-1， 另 见 8.4 节 。 


图 15-1 积木 世界 
[改编 自 Winograd (1972)] 


SHRDLU 能 够 响应 英语 询问 ， 如 “What is sitting on the red block?” “What shape js the blue 
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block on the table?” 或 “Place the green pyramid on the red brick. ” 它 能 够 处 理 代 词 ， 如 “Is there a 
red block? Pick it up. ” 它 甚至 能 理解 省 略 ， 如 “What color is the block on the blue brick? Shape?” 
因为 积木 世界 非常 简单 ， 所 以 能 够 为 系统 提供 世界 的 完整 知识 。 因为 积木 世界 不 包含 常识 推理 
中 更 难 的 问题 ， 如 时 间 理 解 、 因 果 关 系 、 概 率 或 信念 ， 所 以 知识 的 表示 技术 比较 简单 直接 。 尽 管 
领域 有 限 ，SHRDLU 还 是 为 语法 和 语义 的 集成 提供 了 一 个 模型 ， 并 且 证 明了 具有 足够 所 交谈 领域 
知识 的 程序 能 够 用 自然 语言 进行 有 意义 的 交流 。 

对 于 上 面 曾 提 到 的 大 量 知 识 成 分 组 成 的 语言 的 理解 ， 我 们 需要 为 语言 表达 本 身 的 模式 和 期 
望 建 模 。 马 尔 可 夫 链 为 我 们 捕获 这 些 规律 提供 了 一 个 强 有 力 的 工具 。 例 如 ， 在 语言 使 用 中 ， 冠 词 
和 形容 词 通常 在 名 词 之 前 而 不 是 之 后 ， 而 且 特 定 的 名 词 和 动词 往往 一 起 出 现 。 马尔 可 夫 模 型 还 
能 够 捕获 语言 模式 和 所 描述 的 世界 之 间 的 关系 。 

在 15.1 节 ， 介绍 一 种 自然 语言 理解 的 符号 方法 。15. 2 节 介 绍 语法 分 析 法 ; 15. 3 节 利用 扩充 
转移 网 络 解析 将 语法 和 语义 结合 起 来 。15. 4 节 介绍 捕获 语言 表示 规律 性 的 随机 方法 。 最 后 ， 在 
15.5 节 ， 考 察 几 个 自然 语言 理解 程序 非常 有 用 的 应 用 : 问题 回答、 访问 数据 库 信息 、 万 维 网 查 
询 和 文本 摘要 。 


15. 1 解构 语言 : 分 析 


语言 是 一 个 复杂 的 现象 ， 包 括 各 种 处 理 ， 如 声音 或 印刷 字母 的 识别 、 语 法 解析 、 高 层 语义 推 
论 ， 甚 至 通过 节奏 和 音调 传达 的 情感 内 容 。 为 了 管理 这 个 复杂 性 ， 语 言 学 家 定义 了 自然 语言 分 析 
的 不 同 层次 : 

1) 瘟 律 学 《prosody) 处 理 语 言 的 节奏 和 语调 。 这 一 层次 的 分 析 很 难 形式 化 ,经常 被 省 略 ; 
然而 ， 甚 重要 性 在 诗歌 和 宗教 圣 歌 的 强大 感染 力 中 是 很 明显 的 ， 就 如 同 节奏 在 儿童 记 单 词 和 要 
儿 呀 呀 学 语 中 所 具有 的 作用 。 

2) 音韵 学 《phonology) 处 理 的 是 形成 语言 的 声音 。 语 言 学 的 这 一 分 支 对 于 计算 机 语音 识别 
和 生成 很 重要 。 

3) 词 态 学 (morphology) 涉及 组 成 单词 的 成 分 (词素 )。 包 括 控制 单词 构成 的 规律 ， 如 前 缀 
(un-、non-、anti- 等 ) 的 作用 和 改变 词根 含义 的 后 级 (-ing、-ly 等 )。 词 态 分 析 对 于 确定 单词 在 
甸子 中 的 作用 很 重要 ,包括 时 态 、 数 量 和 部 分 语音 。 

4) 语法 (syntax) 研究 将 单词 组 合成 合法 的 短语 和 句子 的 规律 ， 并 运用 这 些 规律 解析 和 生成 
句子 。 这 是 语言 学 分 析 中 形式 化 最 好 因而 自动 化 最 成 功 的 部 分 。 

5) 语义 学 (semantics) 考虑 单词 、 短 语 和 句子 的 意思 以 及 自然 语言 表示 中 传达 意思 的 方法 。 

6) 语 用 学 (pragmatics) 研究 使 用 语言 的 方法 和 对 听众 造成 的 效果 。 例 如 ， 语 用 学 能 够 指出 
为 什么 通常 用 “知道 ”来 回答 “你 知道 几 点 了 吗 ?” 是 不 合适 的 。 

7) 世界 知识 《world knowledge) 包括 自然 世界 、 人 类 社会 交互 世界 的 知识 以 及 交流 中 目标 和 
意图 的 作用 。 这 些 通用 的 背景 知识 对 于 理解 文字 或 对 话 的 完整 含义 是 必 不 可 少 的 。 

虽然 这 些 分 析 层 次 看 上 去 是 自然 而 然 的 而 且 符 合 心理 学 的 规律 ， 但 是 它们 在 某 种 程度 上 是 
强加 在 语言 上 的 人 工 划分 。 它 们 之 间 广 泛 的 交互 ， 既 使 很 低层 的 语调 和 节奏 变化 也 会 对 说 的 话 
的 意思 产生 影响 ， 例 如 讽刺 的 使 用 。 这 种 交互 在 语法 和 语义 的 关系 中 体现 得 非常 明显 ， 虽然 沿 着 
这 些 界 线 进 行 某 些 划分 似乎 很 必要 ， 但 是 确切 的 分 界线 很 难 定义 。 例 如 ， 像 “They are eating ap- 
ples” 这 样 的 句子 有 多 种 解析 ， 只 有 注意 上 下 文 的 意思 才能 决定 。 语 法 也 会 影响 语义 ， 比 如 短语 
结构 在 理解 句子 含义 中 所 起 的 作用 。 虽 然 我 们 经 常 讨论 语法 和 语义 之 间 的 精确 区 别 , 但 是 心理 
学 的 证 据 和 它 在 管理 问题 复杂 性 中 的 作用 只 有 有 保留 的 予以 探讨 。 在 第 16 章 将 再 次 讨论 语言 理 
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解 和 翻译 中 的 这 些 深层 问题 。 

虽然 不 同 自 然 语言 理解 程序 的 组 织 采用 不 同 的 原理 和 应 用 一 一 例如 数据 库 前 端 、 自 动 翻译 
系统 、 故 事理 解 程序 一 一 但 它们 都 必须 将 原 句子 的 含义 翻译 成 一 种 内 部 表示 。 一 般 情况 下 ， 自 然 
语言 理解 遵循 图 15-2 所 示 的 过 程 。 





图 15-2 生成 句子 内 部 表示 的 各 阶段 


第 一 个 阶段 是 解析 ， 分 析 句 子 的 句法 结构 。 解 析 的 任务 在 于 既 验 证 句子 在 句法 上 的 合理 构 
成 ， 又 决定 语言 的 结构 。 通 过 识别 主要 的 语言 关系 ， 如 主 - 谓 、 动 - 宾 和 名 词 - 修饰 ， 解 析 器 可 
以 为 语义 解释 提供 一 个 框架 。 我 们 通常 用 解析 树 来 表示 它 。 解 析 器 运用 的 是 语言 中 语法 、 词 态 和 
部 分 语义 知识 。 

第 二 个 阶段 是 语义 解释 ， 红 在 对 文本 的 含义 生成 一 种 表示 ， 如 图 15-2 中 的 概念 图 所 示 。 其 
他 的 一 些 通用 的 表示 方法 包括 概念 依赖 、 框 架 和 基于 逻辑 的 表示 法 等 。 语 义 解释 使 用 如 名 词 的 
格 或 动词 的 及 物性 等 关于 单词 含义 和 语言 结构 的 知识 。 在 图 15-2 中 ,程序 利用 的 知识 是 : 根据 
单词 kiss 的 含义 ， 将 默认 值 ips (嘴唇 ) 添加 到 kissing 的 对 象 中 。 此 外 语义 一 致 性 检查 也 在 这 
一 阶段 完成 。 例 如 ， 动 词 kiss 的 定义 可 能 包含 这 样 的 约束 : 当主 体 是 人 时 ， 吻 的 对 象 是 人 ， 即 
正常 情况 下 ，Tarzan 吻 的 是 Jane， 而 不 是 印度 豹 。 

第 三 阶段 要 完成 的 任务 是 将 知识 库 中 的 结构 添加 到 句子 的 内 部 表示 中 ， 以 生成 句子 含义 的 
扩充 表示 。 在 这 一 步 中 ， 类 似 “Tarzan 喜欢 Jane”、“Tarzan 和 Jane 生活 在 丛林 中 ”、“ 印 度 豹 是 
Tarzan 的 宠物 ”这 样 的 用 以 充分 理解 语言 所 必需 的 世界 知识 被 添加 了 进来 。 这 样 产生 的 结构 表达 
了 自然 语言 文字 的 意思 ， 可 以 被 系统 用 来 进行 后 续 处 理 。 

举例 来 说 ， 在 数据 库 前 端 ， 扩 充 结构 可 能 结合 了 查询 含义 的 表示 和 数据 库 组 织 的 知识 。 这 种 
结构 能 够 被 翻译 成 相应 的 数据 库 语 言 查询 语句 〈 见 15. 5.2 节 )。 而 在 故事 理解 程序 中 ， 这 种 扩 
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充 结构 可 能 表示 故事 的 意思 ， 并 能 够 用 来 回答 关于 故事 的 问题 ( 见 第 7 章 中 对 脚本 的 讨论 和 
15. 5. 3 节 中 的 文本 摘要 ) 。 

绝 大 多 数 〈 非 概率 的 ) 自然 语言 理解 系统 中 都 存在 这 三 个 阶段 ， 尽 管 相应 的 软件 模块 不 一 
定 被 明确 划分 出 来 。 例 如 ， 许 多 程序 不 生成 明确 的 解析 树 ， 但 是 直接 生成 内 部 语义 表示 。 无 论 怎 
样 ， 解 析 树 都 隐 仿 在 对 句子 的 解析 中 。 增 量 解析 (Allen 1987) 是 一 项 应 用 广泛 的 技术 。 在 这 种 
技术 中 ， 名 子 中 的 重要 部 分 一 旦 被 解析 生成 ， 内 部 表示 的 一 个 片段 将 随 之 生成 。 随 着 解析 的 进 
行 ， 这 些 片段 合并 成 完整 的 结构 。 我 们 也 可 以 利用 这 些 片段 来 解决 句子 模糊 性 的 问题 ， 还 可 以 用 
来 指导 解析 过 程 。 


15.2 语法 


15. 2.1 使 用 上 下 文 无 关 文 法 说 明和 解析 


第 3 章 介绍 了 重 写 规则 说 明文 法 。 下 面 的 规则 是 关于 “The man likes the dog” 这 样 的 简单 及 
物 句 的 文法 ， 我 们 给 规则 加 上 了 编号 。 
1. sentence ¢> noun_phrase verb_phrase 
2. noun_phrase e> noun 
3. noun_phrase ¢> article noun 
4. verb_phrase «> verb 
5. verb_phrase © verb noun_phrase 
6. article >a 
7. article ¢> the 
8. noun © man 
9. noun © dog 
10. verb © likes 
11. verb © bites 


6 到 11 号 规则 的 右边 都 是 英语 单词 ， 这些 规 则 构成 了 句子 中 出 现 的 单词 的 字典 。 这 些 单词 是 文 
法 的 终结 符 ， 定 义 了 语言 的 词典 。 描 述 高 层 语言 概念 〈sentence .noun_phrase ， 等 等 ) 的 术语 
称 为 非 终结 符 。 非 终结 符 以 黑 字 体 表 示 。 注 意 : 终结 符 不 会 出 现在 任何 规则 的 左边 。 

合法 的 句子 是 指 那些 使 用 规则 导出 的 终结 符 组 成 的 任意 串 。 推 导 从 非 终结 符 sentence 开始 ， 
通过 一 系列 文法 规则 定义 的 代 换 ， 得 出 终结 符 串 。 合 法 代 换 用 规则 右边 的 符号 代 换 与 规则 左边 
匹配 的 符号 。 在 推导 的 过 程 中 ， 字 符 串 同时 包含 终结 符 和 非 终结 符 的 ， 叫 做 名 型 。 

句子 “The man bites the dog” 的 推导 过 程 如 下 : 

STRING APPLY RULE # 

sentence 

noun_phrase verb_phrase 

article noun verb_phrase 

The noun verb_phrase 

The man verb_phrase 

The man verb noun_phrase 

The man bites noun_phrase 

The man bites article noun 

The man bites the noun 

The man bites the dog 


ps 
COC- 0 ~ 必 
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这 是 一 个 自 项 向 下 推导 的 例子 : 开始 于 sentence 符号 ， 向 下 推导 出 终结 符 串 。 自 底 向 上 推导 开 
始 于 终结 符 串 ， 用 规则 的 左边 代 换 右边 的 模式 ， 直 到 仅 剩 余 sentence 符号 为 止 。 

推导 可 以 表示 为 树 结构 ， 即 解析 树 ， 其 中 每 个 结 点 是 文法 规则 集中 的 一 个 符号 。 树 内 部 的 结 
点 是 非 终结 符 ; 每 个 结 点 及 其 子 结 点 分 别 对 应 于 一 条 文法 规则 的 左边 和 右边 。 叶 结 点 是 终结 符 ， 
sentence 符号 是 树 的 根 。 句 子 “The man bites the dog” 的 解析 树 见 图 15-3。 

存在 推导 或 解析 树 ， 这 不 仅 能 证 明 句 子 在 文 Sentence 
法 上 是 合法 的 ， 而且 能 确定 句子 的 结构 。 文 法 的 
短语 结构 定义 了 语言 深层 的 词组 织 。 例 如 ， 将 Noun_phrase Verb_phrase 
sentence 拆 分 为 noun_phrase 和 verb_phrase 可 -一 人 -一 人 
以 表明 动作 和 其 主体 之 间 的 关系 。 这 种 短语 结构 Anice Noun Verb Noun_phrase 
在 语义 解释 中 起 着 实质 性 作用 ， 它 定义 了 包含 语 一 人 
义 处 理 的 推导 的 中 间 阶 段 ， 如 14. 3 节 。 oe Noun 

解析 是 针对 输入 串 ， 依 据 文法 的 形式 定义 ， The man bites ,| 
建立 推导 过 程 和 解析 树 的 问题 。 解 析 算 法 分 为 两 
类 : 自 顶 向 下 解析 器 和 自 底 向 上 解析 器 。 自 顶 向 
下 解析 器 由 顶层 的 sentence 符号 开始 ， 尝 试 建立 一 棵 树 ， 其 叶子 与 目标 句子 相 匹 配 ;， 自 底 向 上 
解析 器 由 句子 中 的 单词 (终结 符 ) 开始 ， 尝 试 发 现 一 系列 约 简 ， 这 些 约 简 能 够 产生 sentence 
符号 。 

解析 面临 的 一 个 巨 复 杂 的 难题 是 ， 在 推导 的 任意 一 步 ， 从 几 条 潜在 可 利用 规则 中 如 何 决定 
使 用 哪 一 条 。 如 果 做 出 错误 选择 ， 解 析 器 就 可 能 无 法 识别 一 个 合法 的 句子 。 例 如 ， 使 用 自 底 向 上 
的 方式 解析 句子 “The dog bites”， 规 则 7、9 和 11 生成 字符 串 article noun verb。 这 里 如 果 使 用 
规则 2 将 会 生成 article noun_phrase verb; 无 法 化 简 为 sentence 符号 。 解 析 器 应 该 使 用 规则 3 。 
自 顶 向 下 解析 中 也 会 出 现 类 似 的 情况 。 

在 任意 解析 步 又 中 选择 正确 规则 有 两 种 处 理 方 法 : 一 种 是 允许 解析 器 设置 回 湖 指 针 ， 如 果 
做 出 了 错误 的 决定 就 返回 到 问题 情景 ( 见 3.2 节 ); 另 一 种 是 利用 预 判 来 检查 输入 流 ， 寻 找 有 助 
于 确定 正确 规则 的 特征 。 使 用 这 两 种 方法 ， 都 必须 在 保证 得 到 正确 解析 的 前 提 下 小 心地 控制 执 
行 的 复杂 性 。 

相反 的 问题 是 从 内 部 语义 表示 生成 或 产生 合法 的 句子 。 生 成 从 一 些 有 意义 的 内 容 (如 语义 
网 或 概念 依赖 图 ) 开始 ， 构 造 一 个 文法 正确 的 句子 以 表达 其 意义 。 生 成 不 完全 是 解析 的 反 向 过 
程 ; 会 遇 到 特有 的 困难 ， 从 而 需要 单独 的 方法 予以 处 理 。 在 补充 材料 中 我 们 阐述 了 递归 下 降 的 上 
下 文 无 关 和 上 下 文 相关 的 解析 器 。 

由 于 解析 在 程序 设计 语言 和 自然 语言 处 理 中 都 特别 重要 ， 研 究 人 员 开 发 出 了 许多 不 同 的 解 
析 算 法 ， 包 括 自 项 向 下 和 自 底 向 上 两 种 策略 。 纵 览 所 有 的 解析 算法 超出 了 本 章 的 范围 ， 我们 将 详 
尽 地 讨论 某 几 种 解析 方法 。 下 一 节 阅 述 Earley 解析 器 ， 它 是 一 个 重要 的 基于 动态 规划 的 多 项 式 时 
间 解 析 器 。 在 15. 3 节 ， 我 们 将 通过 引信 转移 网 络 解析 器 来 介绍 解析 器 的 语义 约束 。 虽 然 这 些 解 
析 器 不 能 完全 胜任 解析 自然 语言 语义 的 任务 ， 但 是 它们 构成 了 扩充 转移 网 络 的 基础 。 扩 充 转 移 
网 络 已 经 证 明 是 自然 语言 处 理 的 一 个 有 用 和 有 力 的 工具 。 


15. 2.2 Earley 解析 器 : 动态 规划 二 次 访问 


动态 规划 最 初 由 Richard Bellman (1956) 提出 ， 本 书 4.1 节 给 出 了 动态 规划 的 几 个 例子 。 它 
的 思想 很 简单 ， 即 把 一 个 复杂 的 问题 分 解 为 许多 彼此 相关 的 子 问题 ， 将 局 部 解 的 结果 保存 下 来 











dog 
图 15-3 ”句子 “The man bites the dog” 的 解析 树 
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以 便于 在 之 后 的 求解 过 程 中 能 够 被 再 次 使 用 。 这 种 方法 有 时 也 被 称 为 对 子 问题 结果 的 记忆 与 
重用 。 

在 模式 匹配 中 有 很 多 动态 规划 的 例子 。 如 计算 两 个 位 串 或 字符 串 之 间 的 差异 问题 。 两 串 之 
间 的 总 差异 是 两 串 内 特定 元 素 之 间 的 差异 的 函数 。 在 拼写 检查 当中 ， 拼 写 检查 把 与 误 拼写 的 音 
词 最 相近 的 那个 单词 呈现 出 来 ( 见 4. 1 节 ) 。 还 有 一 个 例子 是 ， 在 语音 理解 中 我 们 将 所 识别 的 单 
词 看 作 是 输入 流 中 可 能 的 音素 的 函数 。 当 音素 以 相关 概率 被 识别 出 来 后 ， 那 么 由 单个 语音 的 组 
合 概率 值 的 函数 所 产生 的 最 匹配 的 单词 也 就 随 之 确定 了 。 本 节 将 用 动态 规划 方法 阐明 Earley 解析 
规 是 如 何 决定 单词 串 是 否 组 成 句法 正确 的 句子 的 。 伪 代码 根据 Jurafsky 和 Martin (2008) 的 代码 
改编 而 来 。 

在 对 可 接受 的 句法 结构 进行 递归 、 深 度 优先 、 从 左 至 右 的 搜索 中 ，15. 2. 1 节 提 到 的 解析 算 
法 常常 被 使 用 。 在 这 种 查找 方法 中 ， 串 的 前 端 (最 左边 的 ) 元 素 的 大 部 分 可 接受 的 局 部 解析 结 
果 被 反复 生成 。 在 整个 解析 结构 范围 内 ,早先 生成 的 局 部 解 被 再 次 访问 ， 这 是 之 后 的 回 湖 
(backtracking) 查找 的 需要 ,而且 在 更 大 规模 的 解析 中 ， 对 局 部 解 的 再 次 访问 的 复杂 性 将 呈 指 数 
级 增长 。 局 部 解析 结果 一 旦 生成 ， 就 可 以 被 保存 并 且 在 之 后 对 单词 串 的 全 盘 解析 中 被 再 次 使 
用 一 一 动态 规划 方法 在 这 个 过 程 中 效果 显著 。Earley (1970) 给 出 了 第 一 个 基于 动态 规划 的 解 
析 器 。 


记忆 与 句点 对 

在 用 Earley 算法 进行 解析 的 过 程 中 ， 我 们 利用 一 种 称 为 图 (chart) 的 数据 结构 来 记录 局 部 
解 (局 部 解析 结果 )。 从 而 我 们 常常 将 Earley 解析 方法 称 为 图 解析 (chart parsing) ， 这 种 图 通过 
运用 句点 (dot) 文法 规则 来 产生 。 

名 点 文法 规则 提供 了 一 种 表示 ， 这 种 表示 能 在 图 中 表明 在 任意 时 刻 解析 过 程 所 处 的 状态 。 
每 条 句点 规则 依据 句点 是 否 处 于 文法 规则 开始 端 、 中 间 某 处 或 右 端 (the right hand side, RHS) 
末尾 而 被 分 为 三 个 种 类 ，, 分别 被 称 为 解析 的 初始 (initial) 、 局 部 (partial) 和 结束 (completed) 
阶段 : 

初始 预测 : Symbol 一 .RHS_unseen 

局 部 解析 : Symbol 一 RHS_seen . RHS_unseen 

结束 解析 : Symbol- RHS_seen - 

此 外 ， 我 们 可 以 很 自然 地 将 含有 不 同名 点 规则 的 状态 与 解析 所 产生 的 解析 树 的 边 对 应 起 来 。 
来 看 下 面 这 个 很 简单 的 文法 例子 ， 在 这 个 例子 中 终结 符 被 引号 括 起 来 ， 例 如 “mary”: 

Sentence 一 Noun Verb 

Noun—" mary” 


Verb 一 “runs” 
我 们 对 上 面 这 条 语句 执行 自 顶 向 下 、 自 左 至 右 的 解析 过 程 ， 下 面 给 出 解析 所 产生 的 状态 序列 : 
Sentence 一 . Noun Verb 预测 : 名 词 后 接 动词 
Noun— . Mary 预测 : mary 
Noun 一 Mary : 扫描 : mary 
Sentence—Noun - Verb 结束 : Noun; 预测 : Verb 
Verb 一 .runs 预测 : runs 


Verb 一 runs . 扫描 : runs 
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Sentence 一 Noun Verb . 结束 :Verb， 结 束 : sentence 


值得 注意 的 是 ,扫描 (Scanning) 和 结束 步骤 决定 了 解析 的 结果 。 预 测 步骤 描述 了 在 当前 情形 下 
应 该 被 采纳 的 最 可 能 的 解析 规则 。 图 15-4 的 解析 树 给 出 了 扫描 和 预测 所 产生 的 状态 。 


Earley 算法 对 给 定 的 输入 进行 解析 时 ， 执 。Noun Verb 
行 自 上 至 下 、 自 左 圣 右 的 预测 。 每 次 预测 结果 
被 记录 为 一 个 状态 ， 该 状态 包含 所 有 与 预测 相 Senlence 
关 的 信息 ， 而 每 个 状态 的 一 个 关键 要 素 是 句点 。 "和" Neun pr » 
规则 (在 下 一 节 我 们 将 给 出 第 二 个 要 素 )。 检 测 Noun Verb 
完 输 入 句子 的 一 个 特定 单词 后 所 产生 的 所 有 预 no J 
mary runs 


测 结 果 被 称 作 一 个 状态 集 (the state set)。 

对 于 一 个 由 nm 个 单词 (w, 至 w,) 组 成 的 输 ”图 15-4 句点 规则 与 解析 树 的 产生 之 间 的 对 应 关系 

入 句子 来 说 ， 共 有 n +1 个 状态 集 产 生 : [So， 
Si，… ，S,] 。 初 始 状态 集 So 含有 对 输入 的 任何 单词 做 检测 之 前 所 做 的 预测 ， 状 态 集 S 含有 检 
测 单词 w 之 后 的 预测 结果 ， 依 此 类 推 。 我 们 把 解析 器 产生 的 状态 集 的 全 体 称 为 图 (chart) 。 图 
15-4 表明 了 状态 集 的 产生 与 输入 单词 的 检测 之 间 的 相互 关系 。 尽 管 在 传统 意义 上 ， 状 态 集 指 的 
是 解析 的 每 个 元 素 的 状态 集合 ， 但 是 状态 的 产生 次 序 是 非常 重要 的 。 因 此 我 们 把 图 中 的 每 个 元 
素 称 为 状态 列表 (state list) ， 表 示 为 [State, State,, …, State,] ， 这 种 状态 列表 用 Prolog 可 以 很 
好 地 得 以 实现 〈 见 补充 材料 ) ， 其 中 状态 列表 可 以 被 保存 为 Prolog 列表 。 这 样 我 们 就 可 以 将 状态 
列表 中 的 每 个 状态 表示 为 一 个 由 括号 括 起 来 的 特定 的 符号 序列 ， 例 如 ($ 一 :S)。 

现在 我 们 用 Earley 算法 和 上 述 文法 来 解析 mary runs 这 个 很 简单 的 句子 。 算 法 以 一 个 虚拟 起 
始 状 态 ($$ 一 . S) 开始 ， 此 状态 是 状态 列表 Su 的 第 一 个 成 员 。 此 状态 表示 输入 串 能 够 被 作为 
一 个 句子 得 以 解析 ， 而 且 在 检测 输入 单词 之 前 ， 该 状态 可 被 插入 至 状态 列表 Se， 句法 分 析 成 功 
后 将 产生 一 个 结束 状态 列表 S,， 该 状态 列表 包含 状态 ( $ 一 S ， )。 

从 状态 列表 So 开始 ， 解析 器 循环 执行 ， 执 行 过 程 按 顺序 检测 当前 状态 列表 中 的 每 个 状态 Si， 
并 产生 新 的 状态 。 每 个 新 状态 由 预测 器 (predictor)、 扫 描 器 (scanner) 和 结束 器 
(completer) 中 的 任意 一 种 步骤 产生 。 究 竟 采 用 哪 一 种 步 又 ， 由 状态 S 中 的 句点 规则 ， 特 别 是 
带 文法 符号 的 句点 规则 来 决定 。 

在 上 述 例子 中 ， 待 检测 的 初始 状态 包含 规则 ( $ 一 .S) 。 因 为 句点 后 紧 跟 符号 S， 在 该 状 
态 下 我 们 期 望 在 接 下 来 的 输入 串 中 出 现 S 的 一 个 范例 (instance) 。 因 为 S 是 一 个 文法 非 终结 符 ， 
预测 器 将 产生 对 S 解析 后 的 所 有 状态 。 在 这 个 例子 中 ，S 只 能 被 S 一 Noun Verb 所 替代 ， 因 此 只 
有 状态 〈S 一 . Noun Verb) 被 添加 到 Su 中 。 在 该 状态 中 ， 句 点 之 后 是 非 终结 符 Noun， 该 状态 
可 能 是 语言 中 的 一 部 分 内 容 ， 算 法 将 检查 接 下 来 输入 的 单词 以 便 检验 所 做 的 预测 。 扫 描 器 将 完 
成 这 个 工作 。 由 于 下 一 个 输入 的 单词 确实 与 预测 相 匹 配 ， 即 mary 确实 是 一 个 名 词 ， 从 而 扫描 器 
产生 一 个 新 的 状态 来 记录 这 种 匹配 : (Noun 一 mary. ) 。 因 为 该 状态 依赖 于 输入 单词 w:， 所 以 它 
没有 被 插入 到 状态 列表 S。 中 ， 而 是 被 插入 到 状态 列表 Si 中， 成 为 S, 的 第 一 个 状态 。 至 此 解析 图 
包含 了 两 个 状态 列表 ， 如 下 所 示 ， 在 每 个 状态 之 后 我 们 给 出 了 产生 该 状态 采用 的 步 又: 


So: [($ 一 . S)， 虚拟 起 始 状态 
(S 一 . Noun Verb)] 预测 器 
S: [(Noun—>mary . )] 扫描 器 


状态 列表 S。 中 的 每 个 状态 现 已 处 理 完毕 ,算法 开始 处 理 S 以 及 状态 〈Noun 一 mary' )。 这 是 一 


和 715 但 自 屠 请 言 理 亨 437 





个 结束 状态 ， 结 束 器 被 启动 。 这 时 我 们 期 望 出 现 一 个 名 词 ， 即 具备 . Noun 模式 ， 结 束 器 产生 一 
个 新 的 状态 ， 通 过 在 名 词 标志 的 前 方 打 句 点 来 记录 名 词 的 发 现 。 在 这 个 例子 中 ,结束 器 在 S, 中 
产生 了 状态 (S 一 . Noun Verb) 且 在 列表 S， 中 产生 了 新 状态 (S 一 Noun - Verb) 。 该 状态 被 视 
为 是 语音 的 一 部 分 ， 扫 描 器 检测 下 一 个 输入 单词 w 。 由 于 ws 是 一 个 动词 ， 扫 描 器 产生 状态 
(Verb 一 runs. ) 并 把 此 状态 加 入 到 S, 中 ， 此 过 程 如 下 所 示 ， 


So: [($—. S), 起 始 
( S— . Noun Verb)] 预测 器 
Si: [(Noun—mary . )， 扫描 器 
(S—Noun . Verb)] 结束 器 
S,: [(Verb—runs . )] 扫描 器 


现在 处 理 新 状态 S, ， 结 束 器 在 (S->Noun . Verb) 中 打点 来 产生 (S_*Noun Verb . ) ， 继 而 产生 
状态 〈$ 一 S . ) ， 从 而 表明 对 句子 mary runs 成 功 地 完成 了 解析 任务 。 其 解析 过 程 产生 的 最 终 图 
包含 以 下 三 个 状态 列表 : 
So: [( $—. S), 起 始 
( S— . Noun Verb) ] 预测 器 


Si: [(Noun—mary . )] 扫描 器 
(S—Noun . Verb)] 结束 器 
S,: [(Verb—runs . )] 扫描 器 
(S—Noun Verb . )， 结束 器 
($—S.)] 结束 器 
Earley 算法 的 伪 代 码 


为 了 从 计算 的 角度 表示 由 上 述 句点 对 规则 所 产生 的 状态 列表 ， 我 们 以 索引 形式 来 显示 对 一 
条 文法 规则 被 解析 的 程度 。 下 面 首先 说 明 这 种 表示 方法 ， 而 后 给 出 Earley 算法 的 执行 伪 代 码 。 

状态 列表 中 的 每 个 状态 被 附加 一 个 索引 以 便 表示 有 多 少 输入 流 已 被 处 理 。 这 里 我 们 将 每 个 
状态 的 描述 扩展 为 (句点 规则 [ i, 的 表示 形式 ， 其 中 [i, j] 对 表示 文法 规则 的 右 端 (right hand 
side，RHS) 截至 当前 有 多 少 已 被 扫描 或 已 被 分 析 。 对 于 一 条 解析 过 的 规则 来 说 ， 句 点 . 表明 了 
零 个 或 多 个 已 处 理 和 未 处 理 的 元 素 。 我 们 用 (A-、Seen . Unseen, [i,j] ) 来 表示 这 条 规则 ， 其 中 
i 是 已 处 理 〈( Seen) 的 起 始 位 置 ，j 是 句点 在 单词 序列 中 的 位 置 。 

让 我 们 针对 句子 mary runs， 将 索引 添加 到 上 述 所 讨论 的 解析 状态 中 去 ; 


($ 一 . S[0,0]) 由 预测 器 产生 ,i=j =0, 解析 内 容 为 堆 
(Noun—mary . , [0, 1]) 扫描 器 处 理 Wi,i=0, j =1 

(S—Noun . Verb, [0, 1]) 结束 器 已 处 理 名 词 (mary),i=0, j=1 
(S 一 Noun Verb . , [0,2]) 结束 器 已 处 理 句 子 S,i=0, j=2 


状态 索引 模式 (state indexing pattem)〉 表明 了 运用 单词 wi 索 引 的 句点 规则 ， 由 三 种 状态 生成 器 产 
生 结 果 的 过 程 。 

总 结 ， 产 生 状 态 列表 中 的 状态 包括 三 个 步骤 : 由 预测 器 产生 [j, j] 状态 ， 并 进入 图 chart[j] ; 
由 扫描 器 处 理 单词 Wi,, ， 产 生 [jj+ 们 状态 ， 并 进入 chart[j +1] ; 由 结束 器 基于 规则 产生 [i 中 
状态 ， 其 中 i<j， 并 将 状态 入 口 加 入 到 chart[j]. 注意 ,句点 规则 中 的 状态 [i, 总 是 进入 chart[j 
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的 状态 列表 。 因 此 ， 对 于 一 个 有 mn 个 单词 的 句子 来 说 ， 状 态 列表 包括 chart[0]，… ，chart[ n] 。 
基于 上 述 图 表示 的 索引 方案 ， 我 们 给 出 Earley 解析 器 的 伪 代 码 。 


function EARLEY-PARSE(words, gramman returns chart 
begin 
chart := empty 
ADDTOCHART(($ 一 。S, [0, 0]), chart[O]) % dummy start state 
for ifrom 0 to LENGTH(words) do 
for each state in chart[i] do 
if rule_rhs(state) = ... 。 A ... and A is not a part of speech 
then PREDICTOR(state) 


else if rule_rhs(state)=...e。eL... %L is part of speech 
then SCANNER(state) 
else COMLETER!(state) % rule_rhs = RHS 。 


end 


procedure PREDICTOR((A = ... 。B ..., [i, j])) 
begin 
for each (B 一 RHS) in grammar do 
ADDTOCHART((B 一 。RHS, [j, j]), chart[U]) 
end 


procedure SCANNER((A 一.… 。L ..., [i, jj])) 
begin 
if (L — word0D]) is_in grammar 
then ADDTOCHART((L 一 word[j] 。, [j, j + 1]), chart[ + 1]) 
end 


procedure COMPLETERI((B 一 ... 。, [j, k])) 
begin 
for each (A — ... 。 B...., [i, ji)inchart] do 
ADDTOCHART((A — ... B 。..., [i, k]), chart[k]) 
end 


procedure ADDTOCHART(state, state-list) 
begin 
if state is not in state-list 
then ADDTOEND(state, state-list) 
end 
在 上 面 的 例子 中 ， 对 句子 mary runs 的 Earley 解析 过 程 很 简单 但 是 很 说 明 问题 ， 在 叙述 中 我 们 详 
细 给 出 了 对 状态 列表 及 其 索引 的 描述 。 让 我 们 看 一 个 复杂 并 且 模 楼 两 可 的 例句 :“ John called Ma- 
ry from Denver”( 补充 材料 中 给 出 了 Earley 算法 解析 该 名 的 Prolog、jJava 代码 ) 。 这 个 句子 的 歧义 
性 导致 了 解析 可 能 产生 两 种 不 同 的 结果 。 我 们 通过 执行 基于 Earley 解析 的 动态 规划 的 回溯 操作 来 
选择 不 同 的 解析 结果 。 


15. 3 ”转移 网 络 解析 器 及 语义 学 


此 前 我 们 提出 了 支持 基于 符号 的 句法 分 析 的 表示 方法 和 算法 。 句 法 关系 分 析 ， 甚 至 更 小 苑 
围 内 的 上 下 文 相 关 解析 〈 例 如 ， 名 词 -动词 约定 ) ， 忽 略 了 与 语义 学 的 联系 。 本 节 我 们 通过 介绍 
转移 网 络 来 解决 这 个 问题 。 
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15. 3. 1 ”转移 网 络 解析 器 


转移 网 络 解析 器 将 文法 表示 为 有 限 状 态 自动 机 的 集合 ， 或 者 说 转移 网 络 。 每 个 网 络 对 应 于 
文法 中 一 个 单一 非 终结 符 。 终 结 符 或 非 终结 符 标注 在 网 络 弧 线 上 。 从 开始 状态 到 结束 状态 的 每 
条 路 径 对 应 于 该 非 终结 符 的 一 些 规 则 ; 路 径 中 弧 上 标签 的 序列 是 规则 右边 的 符号 序列 。 图 15-5 
给 出 了 15. 2. 1 节 中 的 文法 的 转移 网 络 表 示 。 当 一 个 非 终 结 符 有 多 于 一 条 规则 时 ， 对 应 的 网 络 有 
多 条 从 起 点 到 目标 的 路 径 。 例 如 ， 规 则 noun_phrase noun 和 noun_phrase ~ article noun 用 通 
过 noun_phrase 网 络 的 可 选 路 径 表 示 。 


Sentence: 


时 Noun_phrase 人 Verb_phrase 


Noun_phrase: 


Article Noun 


Noun_phrase 
Verb 


Verb_phrase: 


Aricle: Verb: 本 
a - likes 
Noun: 


man 


Go 。 


图 15-5 一 个 简单 的 英语 文法 的 转移 网 络 定义 


我 们 通过 置换 文法 规则 右边 的 非 终 结 符 来 寻找 一 个 成 功 的 转移 网 络 。 例 如 ， 要 解析 一 个 句 
子 ， 转 移 网 络 解析 器 必须 找到 一 个 穿 过 句子 网 络 的 转移 。 转 移 从 初始 状态 (Siwa) 出 发 ， 经 过 
noun_phrase 转移 和 verb_phrase 转移 ， 到 达 结 束 状态 ( Sis)。 这 个 过 程 等 价 于 将 最 初 的 sen- 
tence 符号 替换 成 符号 对 noun_phrase verb_phrase。 

当 经 过 一 条 弧 时 ， 解 析 器 必须 检查 其 标签 。 如 果 弧 标签 是 终结 符 , 解析 器 就 检查 输入 字符 
串 ， 看 下 一 个 单词 是 否 与 弧 匹 配 。 若 不 匹配 ， 转 移 不 能 进行 。 如 果 弧 标签 是 非 终结 符 ， 解 析 器 就 
通过 检索 网 络 寻 找 该 非 终 结 符 ， 并 递归 尝试 寻找 一 条 穿 过 它 的 路 径 。 若 解析 器 无 法 找到 穿 过 此 
网 络 的 路 径 ， 那 么 不 能 通过 顶层 的 弧 。 这 种 情况 将 导致 解析 器 回溯 并 尝试 另 一 条 路 径 。 这 样 ， 解 
析 器 试图 寻找 一 条 穿 过 sentence 网 络 的 路 径 ; 如 果 成 功 ， 输 入 字符 串 就 是 一 个 文法 上 合法 的 
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句子 。 

让 我 们 以 “Dog bites” 这 个 简单 的 句子 为 例 ， 对 它 的 分 析 过 程 如 图 15-6 所 示 。 

1) 解析 器 从 sentence 网 络 开始 ， 试 图 沿 着 标 有 noun_phrase 的 弧 前 进 。 为 此 ， 解 析 器 检索 
网 络 寻找 noun_phrase。 

2) 在 noun_phrase 网 络 中 ， 解 析 器 首先 尝试 标注 article 的 转移 ， 因 此 到 达 article 网 络 
分 支 。 

3) 解析 器 无 法 找到 一 条 路 径 到 达 article 网 络 的 终点 ， 因 为 句子 的 第 一 个 词 “Dog” 与 弧 上 
的 标签 不 匹配 。 解 析 器 回 退 到 noun_phrase 网 络 。 

4) 解析 器 尝试 在 noun_phrase 网 络 中 沿 着 noun 弧 前 进 ， 到 达 noun 网 络 分 支 。 

5) 解析 器 成 功 地 通过 弧 “dog”， 因 为 标签 与 输入 流 的 第 一 个 单词 对 应 。 

6) noun 网 络 成 功 返回 。 人 允许 经 过 noun_phrase 网 络 中 标注 noun 的 弧 到 达 最 终 状 态 。 

7) noun_phrase 网 络 成 功 返 回 到 上 层 网 络 ， 人 允许 通过 noun_phrase 弧 的 转移 。 

8) 经 过 类 似 的 步骤 序列 ， 解 析 名 子 的 verb_phrase 部 分 。 


-~~ ~、 8.call 


7 1. call 7. retum ~、、 `、 Verb_phrase 
/ Noun_phrase SUCCeSS \、 \、 






1 
1 
2. call | 
Article ,/ | 、\、 
1 3.fail ~~、 4. call 6. return 
| ~~、Noun success 


{ 

| 1 ~ 
‘ ! 、~、 

1 / ~ 


\ 
/ ~ \、 
a man ~ 
~ .4 


5. read "dog" 
from input 


图 15-6 对 句子 “Dog bites” 转移 网 络 解析 的 跟踪 
转移 网 络 解析 器 的 伪 代 码 表示 如 下 。 解析 器 用 两 个 互相 递归 的 函数 定义 ，parse 和 transi- 
tion。parse 以 一 个 文法 符号 作为 参数 : 如 果 符 号 是 终结 符 ，parse 将 其 与 输入 流 的 下 一 个 单词 比 
较 检 查 。 如 果 符 号 是 非 终 结 符 ，parse 检索 与 该 符号 有 关 的 转移 网 络 ， 并 调用 transition 来 寻找 
通过 网 络 的 路 径 。 要 解析 一 个 句子 ， 需 要 调用 parse( sentence) 。 
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function parse(grammar_symbol); 
begin 
save pointer to current location in input stream， 
Case 
grammar_symbol is a terminal: 
if grammar_symbol matches the next word in the input stream 
then return (success) 
else begin 
reset input stream; 
return (failure) 
end; 
grammar_symbol is a nonterminal: 
begin 
retrieve the transition network labeled by grammar symbol: 
state := start state of network:; 
if transition(state) returns success 
then return (success) 
else begin 
reset input stream; 
return (failure) 
end 
end 
end 
end. 


function transition (current_state); 
begin ， 
Case 
current_state is a final state: 
return (success) 
current_state is not a final state: 
while there are unexamined transitions out of current_state 
do begin 
grammar_symbol := the label on the next unexamined transition; 
if parse(grammar_symbol) returns (success) 
then begin 
next_state := state at end of the transition; 
if transition(next_state) returns Success; 
then return (success) 
end 
end 
return (failure) 
end 
end. 


transition 以 转移 网 络 中 的 一 个 状态 为 参数 ， 以 深度 优先 的 方式 试图 寻找 穿 过 该 网 络 的 一 条 路 径 。 
因为 解析 器 可 能 犯错 误 并 且 需 要 回 湖 ，parse 保留 了 输入 流 当 前 位 置 的 指针 。 这 样 ， 当 解析 器 回 
沽 时 输入 流 就 可 以 恢复 (reset) 到 这 个 位 置 。 
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这 个 转移 网 络 解析 器 可 以 确定 一 个 句子 文法 是 否 正确 ,但 没有 构造 解析 树 。 可 以 通过 让 函 
数 返 回 解析 树 的 子 树 替 代 符 号 success 来 实现 这 一 功能 。 为 实现 此 功能 所 做 的 改动 如 下 : 

1) 每 次 以 终结 符 符号 作为 参数 调用 函数 parse 时 ， 若 该 终结 符 与 输入 的 下 一 个 符号 匹配 ， 
返回 一 棵 只 包含 以 该 符号 为 叶 结 点 的 树 。 

2) 当 以 非 终 结 符 grammar_symbol 作为 参数 调用 函数 parse 时 ， 调 用 transition 。 若 transi- 
tion 成 功 ， 则 返回 一 个 子 树 的 有 序 集合 〈 后 面 说 明 ) 。parse 将 这 些 子 树 合并 为 一 棵 树 ， 根 为 
grammar_symbol， 了 孩子 为 transition 返回 的 子 树 。 

3) 在 搜索 通过 网 络 路 径 的 过 程 中 ，transition 对 每 个 弧 的 标签 调用 parse。 成 功 时 ，parse 返 
回 表示 该 符号 的 一 棵 子 树 。transition 将 这 些 子 树 保存 在 一 个 有 序 集合 中 ， 在 成 功 找到 通过 网 络 
的 路 径 时 ， 返 回 与 路 径 中 弧 的 标签 序列 对 应 的 解析 树 的 有 序 集合 。 


15. 3.2 乔 姆 斯 基层 次 和 上下文 相 关 文 法 


在 15.3.1 节 ， 用 上 下 文 无 关 文 法 定义 了 一 个 很 小 的 英文 子 集 。 上 下 文 无 关 文 法 允许 规则 的 
左边 只 有 一 个 非 终结 符 。 因 此 ， 规 则 可 以 应 用 于 任意 出 现 的 该 符号 上 ， 而 无 论 其 上 下 文 如 何 。 尽 
管 上 下 文 无 关 文 法 已 被 证 明 是 计算 机 科学 中 定义 程序 设计 语言 和 其 他 公式 的 有 力 工具 ， 我 们 仍 
然 有 理由 认为 它 无 法 单独 表示 自然 语言 语法 的 规则 。 例 如 ， 假 如 在 15.2. 1 节 中 的 文法 中 加 入 单 
复数 名 词 和 动词 ， 看 会 出 现 什么 情况 : 

noun * men 

noun “~ dogs 

Verb «bites 

verb ~ like 


得 到 的 文法 能 解析 类 似 “The dogs like the men” 的 句子 , 但 是 同时 也 接受 “A men likes a dogs”。 
解析 器 接受 这 些 句 子 是 因为 当前 的 规则 不 能 用 上 下 文 确定 何 时 单 复数 必须 协调 。 将 sentence 定 
义 为 noun_phrase 后 跟着 verb_phrase 的 规则 没有 要 求 主语 和 动词 的 单 复数 一 致 ， 或 者 冠 词 与 
名 词 一 致 。 

可 以 扩展 上 下 文 无 关 语 言 来 处 理 这 些 情 况 ， 但 是 更 自然 的 方法 是 使 文法 上 下 文 相 关 ， 即 分 
析 树 中 的 成 分 可 以 设计 成 互相 包含 。 乔 姆 斯 基 (chomsky) (1965) 首先 提出 了 一 个 分 层 体系 和 
逐 级 增强 的 文法 (Hopcroft 和 Ullman 1979) 。 在 层次 的 底部 是 正则 语言 类 。 正 则 语言 是 文法 可 以 
用 有 限 状 态 自动 机 定义 的 语言 ， 见 3. 1 节 。 虽 然 正 则 语言 在 计算 机 科学 中 有 广泛 的 应 用 ， 但 是 它 
们 无 法 表示 大 多 数 程序 设计 语言 的 语法 。 

上 正文 无 关 语 言 在 乔 姆 斯 基层 次 中 处 于 正则 语言 之 上 。 上 下 文 无 关 语 言 用 重 写 规则 定义 ， 
如 15.2.1 节 ; 上 下 文 无 关 规 则 中 左边 可 以 只 有 一 个 非 终结 符 。 转 移 网 络 解析 器 能 够 解析 上 下 文 
无 关 语 言 类 。 需 要 注意 的 是 ， 如 果 在 转移 网 络 解析 器 中 不 允许 递归 ( 即 统 上 只 可 以 标注 终结 符 ， 
转移 不 可 以 “调用 ”其 他 网 络 ) ， 那 么 这 样 定义 的 语言 类 就 对 应 于 正则 表达 式 。 因 此 ， 正 则 语言 
是 上 下 文 无 关 语 言 的 一 个 真子 集 。 

上 下 文 相关 语言 构成 了 上 下 文 无 关 语 言 的 一 个 真 超 集 。 它 们 用 上 下 文 相关 文法 定义 ,允许 
规则 的 左边 有 多 于 一 个 的 符号 ， 使 得 定义 规则 应 用 的 上 下 文成 为 可 能 。 这 保证 了 能 满足 全 局 约 
束 ， 如 单 复 数 一 致 和 其 他 语法 检查 。 上 下 文 相关 文法 规则 上 的 惟一 限制 是 右边 至 少 要 和 左边 一 
样 长 (Hoperoft 和 Ullman 1979 ) 。 

第 四 类 是 递归 可 数 语 言 类 ， 构 成 了 上 下 文 相关 语言 类 的 一 个 超 集 。 递 归 可 数 语言 可 以 用 无 
约束 产生 式 规则 定义 ; 因为 这 些 规则 比 上 下 文 相关 规则 的 限制 少 ， 所 以 递归 可 数 语 言 是 上 下 文 
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相关 语言 的 真 超 集 。 虽 然 这 类 语言 在 计算 机 科学 理论 中 很 重要 ， 但 是 还 没有 引起 人 们 的 兴趣 来 
定义 自然 语言 语法 。 本 节 其 余 的 部 分 重点 在 将 英语 看 作 是 一 种 上 下 文 相关 语言 。 

下 面 给 出 表示 article noun verb 形式 的 句子 的 一 个 简单 的 上 下 文 无 关 文法 ， 该 文法 能 处 理 冠 
词 和 名 字 以 及 主语 和 动词 之 间 单 复数 的 一 致 性 : 


sentence © noun_phrase verb_phrase 
noun_phrase © article number noun 
noun_phrase ¢> number noun 
number ¢> singular 

number > plural 

article singular «> a singular 

article singular © the singular 

article plural ¢> some plural 

article plural © the plural 

singular noun © dog singular 

singular noun © man singular 

plural noun © men plural 

plural noun <e> dogs plural 

singular verb_phrase < singular verb 
plural verb_phrase © plural verb 
singular verb < bites 

singular verb © likes 

plural verb 人 bite 

plural verb < like 


在 这 个 文法 中 ， 非 终结 符 singular 和 plural 提供 限制 来 确定 何 时 应 用 不 同 的 article、noun 和 verb_ 
phrase 规则 ， 保 证 数 的 一 致 。 使 用 本 文法 对 句子 “The dogs bite” 的 推导 过 程 如 下 : 

sentence. 

noun_phrase verb_phrase. 

article plural noun verb_phrase. 

The plural noun verb_phrase. 

The dogs plural verb_phrase. 

The dogs plural verb， 

The dogs bite 


类 似 地 ， 我 们 可 以 用 上 下 文 相 关 文 法 执行 语义 一 致 的 检查 。 例 如 ， 可 以 通过 在 文法 中 加 入 一 个 非 
终结 符 act_of_biting 来 禁止 类 似 “Man bites dog” 的 句子 。 这 个 非 终 结 符 在 规则 中 被 检查 ， 防 止 
“man” 作 主 语 并 且 包 含 “bites” 的 句子 出 现 。 

虽然 上 下 文 相关 文法 能 够 定义 那些 上 下 文 无 关 文法 无 法 捕获 的 语言 结构 ， 但 是 在 设计 实际 
解析 器 的 时 候 有 许多 不 便 : 

1) 上 下 文 相关 文法 急速 地 增加 了 文法 中 规则 和 非 终 结 符 的 数量 。 可 以 想象 一 下 包含 单 复数 、 
人 称 和 英语 需要 的 所 有 其 他 一 致 形式 的 上 下 文 相关 文法 的 复杂 性 。 

2) 它们 掩盖 了 语言 的 短语 结构 ， 而 在 上 下 文 无 关 文 法 中 可 以 清晰 表示 。 

3) 由 于 试图 对 文法 本 身 所 含 的 一 致 性 和 语义 一 致 进行 更 复杂 的 检查 ， 从 而 失去 了 将 语言 
句法 和 语义 成 分 分 开 处 理 的 许多 优点 。 

4) 上 下 文 相 关 文 法 没有 考虑 文本 含义 语义 表示 的 建立 问题 。 一 个 仅仅 能 对 句子 做 出 接受 或 
不 接受 句子 的 解析 器 是 不 够 用 的 ; 它 必须 能 返回 句子 语义 含义 的 有 用 表示 。 

在 补充 材料 中 我 们 给 出 了 上 下 文 无 关 和 上 下 文 相关 的 解析 器 和 句子 生成 器 ，Prolog 程序 控制 
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采用 深度 优先 的 递归 下 降 策略 。 下 一 节 ， 我 们 将 研究 扩充 转移 网 络 (Augmented Transition Net- 
work，AIN) ， 它 能 够 定义 上 下 文 相关 语言 ， 但 是 在 解析 器 设计 上 比 上 下 文 相关 文法 有 优势 。 


15. 3.3 ATN 解析 器 的 语义 


上 下 文 相关 文法 的 一 个 选择 是 保留 上 下 文 无 关 文 法 规则 的 简单 结构 ， 但 要 增加 用 以 进行 上 
下 文 测试 的 附加 过 程 。 解 析 过 程 中 ， 当 调用 规则 时 也 执行 这 些 过 程 。 我 们 不 是 使 用 文法 来 描述 类 
似 单 复数 、 时 态 和 人 称 等 概念 ， 而 是 将 它们 表示 为 与 文法 中 终结 符 和 非 终结 符 相关 的 特征 。 与 文 
法 规则 相关 的 过 程 访问 这 些 特征 ， 为 其 赋值 并 执行 必要 的 检查 。 用 上 下 文 无 关 文 法 的 扩充 来 实 
现 上 下 文 相关 文法 包括 扩充 短语 结构 文法 (Heidorn 1975，Sowa 1984) 、 远 辑 文法 扩充 ( Allen 
1987) 和 扩充 转移 网 络 (ATN ) 。 

本 节 将 介绍 ATN 解析 ， 并 概要 描述 关于 15. 2.1 节 中 介绍 的 关于 “dogs world” 句 子 的 简单 
ATN 解析 器 。 我 们 考虑 图 15-2 的 头 两 步 : 创建 解析 树 并 用 其 构造 句子 意义 的 表示 。 虽 然 ATN 解 
析 器 可 以 使 用 语义 网 、 脚 本 、 框 架 或 基于 逻辑 的 表示 ， 但 是 本 例 中 我 们 使 用 概念 图 。 

ATN 通过 在 网 络 中 的 弧 上 附加 过 程 扩 充 了 转移 网 络 。ATN 解析 器 经 过 弧 时 执行 这 些 附 加 过 
程 。 这 些 过 程 可 以 为 文法 特征 赋值 以 及 执行 检查 ， 如 果 特 定 条 件 (如 单 复数 一 致 ) 不 满足 将 导 
致 转移 失败 。 这 些 过 程 还 构建 解析 树 ， 用 来 生成 句子 意义 的 内 部 语义 表示 。 

我 们 将 终结 符 和 非 终结 符 都 表示 为 带 附 加 特征 的 标识 符 〈 如 verb .noun_phrase) 。 例 如 ， 一 
个 词 可 以 用 词根 连同 其 词性 、 数 、 人 称 等 特征 来 表示 。 文 法 中 的 非 终 结 符 可 用 类 似 的 方法 描述 。 
名 词 短 语 用 其 冠 词 、 名 词 、 数 和 人 称 描述 。 终 结 符 和 非 终结 符 都 可 以 用 带 槽 和 值 的 类 似 框架 的 结 
构 来 表示 。 这 些 槽 的 值 规定 了 文法 特征 ， 或 者 指向 其 他 结构 。 例 如 ， 句 子 框架 的 第 一 个 槽 包含 一 
个 指向 名 词 短 语 定义 的 指针 。 图 15-7 显示 了 我 们 的 简单 文法 中 表示 sentence .noun_phrase 和 


verb_phrase 的 框架 。 
Verb: 















Noun phrase 


Noun phrase Determiner: 


图 15-7 文法 中 sentence、noun_phrase 和 verb_phrase 非 终 结 符 的 结构 表示 


单独 的 单词 也 用 相似 的 结构 表示 。 字 典 中 的 每 个 词 用 一 个 框架 来 定义 ， 框 架 中 定义 了 其 词 
性 〈 冠 词 、 名 词 ， 等 等 ) 、 词 根 和 重要 文法 特征 。 在 我 们 的 例子 中 ， 只 检查 单 复数 一 致 ， 而 且 只 
记录 这 一 特征 。 更 复杂 的 文法 还 要 指明 人 称 和 其 他 特征 。 这 些 字 典 条 目 还 可 以 指明 语义 解释 用 
的 词 意 的 概念 图 定义 。 我 们 文法 的 完整 字典 见 图 15-8。 

图 15-9 表示 文法 的 ATN， 带 有 每 条 统 上 执行 检查 的 伪 代 码 描述 。 强 上 标注 文法 的 非 终 结 符 
(类 似 图 15-5) 和 数字 ; 数字 用 来 指明 每 条 弧 上 附带 的 函数 。 要 遍历 弧 必 须 成 功 运行 这 些 函 数 。 

当 解 析 器 为 非 终 结 符 调 用 一 个 网 络 时 ， 为 该 非 终结 符 创建 一 个 新 框架 。 例 如 ， 进 入 noun_ 
phrase 网 络 时 创建 一 个 新 noun_phrase 框架 。 框 架 的 权 由 该 网 络 的 函数 填充 。 槽 可 以 赋 以 文法 特 
征 值 或 指向 句法 结构 的 指针 (如 verb_phrase 可 以 包含 verb 和 noun_phrase) 。 当 到 达 终 点 状态 
时 ， 网 络 返 回 该 结构 。 

当 网 络 经 过 标 有 noun 、article 和 verb 的 弧 时 ， 从 输入 流 读 人 下 一 个 单词 ， 并 在 字典 中 检索 
该 单词 的 定义 。 如 果 该 单词 不 是 期 望 的 词性 ， 规 则 失败 ; 否则 返回 定义 框架 。 
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bite 


bites 


dog 


dogs 


sentence: 








































































定义 词 定义 
PART_OF_SPEECH: article like PART_OF_SPEECH: verb 
ROOT: a ROOT': like 
NUMBER: singular NUMBER: plural 
PART_OF_SPEECH: verb likes PART_OF_SPEECH: verb 
ROOT': bite ROOT': like 
NUMBER: plural NUMBER: singular 
PART_OF_SPEECH: verb man PART_OF_SPEECH: noun 
ROOT: bite 、 ROOT: man 
NUMBER: singular NUMBER: singular 
PART_OF_SPEECH: noun men PART_OF_SPEECH: noun 
ROOT: dog ROOT: man 
NUMBER: singular NUMBER: plural 

the PART_OF_SPEECH: article 







ROOT: dog 


PART_OF_SPEECH: noun 
NUMBER: plural 










ROOT: the 
NUMBER: plural or singular 






图 15-8 一 个 简单 ATN 的 字典 条 目 


oOun_phrase 


function Sentence-1; 
begin 
NOUN_PHRASE := structure returned by 


verb_phrase noun_phrase network; 


SENTENCE.SUBJECT := NOUN_PHRASE; 


function sentence-2; 
begin 
VERB_PHRASE := Structure returned by 
verb_phrase network; 


if NOUN_PHRASE.NUMBER = 
VERB_PHRASE.NUMBER 

then begin 
SENTENCE.VERB_PHRASE := VERB_PHRASE; 
return SENTENCE 

end 

else fail 

end. 


图 15-9 一 个 检查 数 一 致 并 建立 解析 树 的 ATN 文法 
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function noun_phrase-1; 
in 
ARTICLE := definition frame for next word of input; 


noun_phrase: 


article 


if ARTICLE.PART_OF_SPEECH=article 
then NOUN_PHRASE.DETERMINER := ARTICLE 
else fail 
end. 





function noun_phrase-2; 
begin 
NOUN := definition frame for next word of input; 


i{ NOUN.PART_OF_SPEECH=noun and 
NOUN.NUMBER agrees with 
NOUN_PHRASE.DETERMINER.NUMBER 

then begin 
NOUN_PHRASE.NOUN := NOUNi 
NOUN_PHRASE.NUMBER := NOUN.NUMBER 
retum NOUN_PHRASE 

end 

else fail 

end. 


function noun_phrase-3 
begin 
NOUN := definition frame for next word of input; 


‘if NOUN.PART_OF_SPEECH=noun 

then begin 
NOUN_PHRASE.DETERMINER := unspecified; 
NOUN_PHRASE.NOUN := NOUN 
NOUN_PHRASE.NUMBER := NOUN.NUMBER 

end 

eise fail 

end. 


verb_phrase: function verb_phrase-1 
begin 


verb noun_phrase VERB := definition frame for next word of input; 





if VERB.PART_OF_SPEECH=verb 


then begin 
VERB_PHRASE.VERB := VERB; 
3 VERB_PHRASE.NUMBER := VERB.NUMBER; 
end; 


end. 


function verb_phrase-2 
begin 
NOUN_PHRASE := structure returned by 
noun_phrase network; 


VERB_PHRASE.OBJECT := NOUN_PHRASE; 


return VERB_PHRASE 
end. 


function verb_phrase-3 
begin 
VERB := definition frame for next word of input; 


if VERB.PART_OF_SPEECH=verb 

then begin 
VERB_PHRASE.VERB := VERB; 
VERB_PHRASE.NUMBER := VERB.NUMBER; 
VERB_PHRASE.OBJECT := unspecified; 
return VERB_PHRASE; 

end; 

end. 


图 15-9 〈 续 ) 


月 15 复 身 然 语言 理解 447 








在 图 15-9 中 ,框架 和 槽 用 Frame. Slot 符号 来 表示 ; 例如 verb 框架 的 number 横 表 示 为 
VERB, NUMBER。 随 着 解析 的 进行 ， 每 个 函数 建立 并 返回 描述 相关 语法 结构 的 框架 。 这 一 结构 
中 包含 指向 低层 网 络 返 回 的 结构 的 指针 。 顶 层 sentence 函数 返回 一 个 sentence 结构 ， 表 示 输 入 
句子 的 解析 树 。 这 个 结构 被 传递 给 语义 解释 器 。 图 15-10 显示 句子 “The dog likes a man” 返回 的 
解析 树 。 


ree 


[CC 
一 as | | 
Cr 


PART_OF_SPEECH: | | PART_OF_SPEECH: PART_OF_SPEECH: | | PART_OF_SPEECH: | | PART_OF_SPEECH: 
article noun verb article noun 


ROOT: the ROOT: dog ROOT: like ROOT: a ROOT: man 
NUMBER: plural or | | NUMBER: singular NUMBER: singular NUMBER: singular | | NUMBER: singular 
singular 


图 15-10 ”ATN 解析 器 返回 的 句子 “The dog likes a man” 的 解析 树 


自然 语言 处 理 的 接 下 来 的 步 又 是 获得 解析 树 ， 例 如 图 15-10 中 的 ， 并 构建 领域 知识 和 句子 含 
义 内 容 的 语义 表示 。 


15. 3. 4 ”结合 句法 和 语义 知识 的 ATN 


语义 解释 器 通过 从 根 (或 sentence 结 点 ) 开始 遍历 解析 树 来 创建 输入 字符 串 含 义 的 一 个 表 
示 。 在 每 个 结 点 ， 语 义 解 释 器 递归 解释 该 结 点 的 孩子 ， 并 将 结果 组 成 到 一 个 概念 图 中 ; 该 概念 图 
在 整 棵 树 上 传递 。 例 如 ， 语 义 解释 器 建立 verb_phrase 的 表示 : 递归 建立 verb_phrase 的 孩子 、 
verb 和 noun_phrase 的 表示 ， 并 将 它们 连接 成 为 动词 短语 的 一 个 解释 。 然后 再 将 它 传递 给 sen- 
tence 结 点 ， 并 和 subject 的 表示 组 合 起 来 。 

递归 在 解析 树 的 终结 符 停止 。 一 些 终结 符 (如 名 词 、 动 词 和 形容 词 ) 会 引发 知识 库 中 的 概 
念 被 检索 。 其 他 一 些 终结 符 〈 如 冠 词 ) 不 直接 与 知识 库 中 的 概念 对 应 ， 但 是 会 限制 图 中 其 他 
概念 。 

我 们 例子 中 的 语义 解释 器 使 用 一 个 知识 库 来 解释 “dogs wond 。 知识 库 中 的 概念 包括 对 象 
dog 和 man， 动 作 like 和 bite。 这 些 概 念 用 图 15-11 的 类 型 层次 来 描述 。 

除了 概念 外 ， 我 们 必须 定义 概念 图 中 会 用 到 的 关系 。 本 例 中 ， 我 们 使 用 下 面 的 概念 : 
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agent 通过 类 型 为 animate 的 概念 连接 act。agent 定义 了 动作 和 发 起 动作 的 活 对 象 之 间 的 


关系 。 


experiencer 通过 类 型 为 animate 的 概念 连接 state。 它 定义 了 精神 状态 和 体验 者 之 间 可 的 关系 。 
instrument 通过 entity 连接 act， 定 义 了 动作 使 用 的 工具 。 

object 通过 entity 连接 event 或 state ， 表 示 动 宾 关 系 。 

part 连接 类 型 为 physobj 的 概念 ， 定 义 整体 和 部 分 的 关系 。 


动词 在 建立 解释 的 过 程 中 起 着 特别 重要 的 作用 ， 
因为 它 定义 了 句子 的 主语 、 宾 语 和 其 他 成 分 之 间 的 关 
系 。 我 们 用 案例 框架 表示 每 个 动词 ， 案 例 框架 定义 了 : 

1) 语言 上 适 于 该 动词 的 关系 (主体 、 对 象 、 工 
具 ， 等 等 ) 。 例 如 ， 及 物 动 词 有 直接 宾语 ; 不 及 物 动 
词 则 没有 。 

2) 可 以 赋 给 案例 框架 任何 成 分 的 值 的 约束 。 例 
如 ， 在 动词 “bites” 的 案例 框架 中 ， 我 们 断言 agent 
必须 是 dog 类 型 。 这 样 “Man bites dog ”就 因为 语义 
不 正确 被 否决 。 

3) 案例 框架 成 分 的 默认 值 。 在 “bites” 框 架 中 ， 
我 们 为 与 instrument 关系 连接 的 概念 设置 默认 值 teeth。 

动词 like 和 bite 的 案例 框架 见 图 15-12 。 

我 们 用 规则 或 过 程 为 解析 树 中 每 个 潜在 的 结 点 定 
义 动作 ， 这 些 动作 能 够 建立 一 个 语义 学 的 表示 。 我 们 


下 
event entity state 
| animate physobj 
act 
| animal 
bite dog person teeth like 
man 
十 


例子 的 规则 用 伪 代 码 过 程 来 描述 。 在 每 个 过 程 中 ， 如 ”图 15-11 “dog wodd” 例 子 中 使 用 的 类 型 层次 
果 规 定 的 连接 或 其 他 检查 失败 ， 那 么 该 解释 就 因为 语义 不 正确 被 否决 。 


人 


< rm | 


图 15-12 动词 “like” 和 “bite” 


的 案例 框架 
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procedure sentence; 


begin : 
call noun_phrase to get a representation of the subject; 
call verb_phrase to get a representation of the verb_phrase.; 
Using join and restrict, bind the noun concept returned for the subject to 
the agent of the graph for the verb_phrase 
end. 


procedure noun_phrase; 


begin 
call noun to get a representation of the noun; 
case 
the article is indefinite and number singular: the noun concept is generic; 
the article is definite and number singular: bind marker to noun concept; 
number is plural: indicate that the noun concept is plural 
end case 
end. 


procedure verb_phrase; 


begin 
call verb to get a representation of the verb; 
ifthe verb has an object 
then begin 
call noun_phrase to get a representation of the object; 
using join and restrict, bind concept for object to object of the verb 
end 
end. 


procedure verb; 


begin 
retrieve the case frame for the verb 
end. 


procedure noun; 
begin 


retrieve the concept for the noun 
end. 
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冠 词 不 对 应 于 知识 库 中 的 概念 ， 但 是 却 决定 了 它 其 后 的 名 词 是 泛 指 还 是 特 指 。 我 们 没有 讨论 复 


数 概念 的 表示 ; 可 以 参见 Sowa (1984) 概念 图 的 处 理 方法 。 


我 们 使 用 这 些 过 程 以 及 图 15-11 的 概念 层次 和 图 15-12 的 案例 框架 ， 从 图 15-9 的 解析 树 建立 
句子 “The dog likes a man” 的 语义 表示 ， 并 跟踪 语义 解释 器 的 动作 。 跟 踪 过 程 见 图 15-13。 


跟踪 过 程 中 出 现 的 动作 有 〈 圆 括 号 中 的 编号 指 图 15-13 中 的 编号 ) : 
1) 从 句子 结 点 开始 ， 调 用 sentence。 

2) sentence 调用 noun_phrase。 

3) noun_phrase 调用 noun。 

4) noun 返回 表示 名 词 dog 的 概念 (图 15-13 的 1)。 


450 肛 五 部 分 人 工 舍 能 问题 天 书 的 高级 训 题 
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图 15-13 ”从 图 15-10 的 解析 树 构建 语义 表示 
5) 因为 冠 词 是 定 冠 词 ，noun_phrase 绑 定 一 个 单独 的 标记 到 概念 (2) ， 并 将 这 个 概念 返回 


给 sentence。 

6) sentence 调用 verb_phrase。 

7) verb_phrase 调用 verb ， 找 到 表示 like (3) 的 案例 框架 。 

8) verb_phrase 调用 noun_phrase，noun_phrase 接着 调用 noun 找到 表示 man (4) 的 
概念 。 

9) 因为 冠 词 是 不 定 冠 词 ，noun_phrase 让 这 个 概念 保留 泛 指 (5) 。 

10) verb_phrase 过 程 限 制 案例 框架 中 的 entity 概念 ， 并 将 其 与 表示 man (6) 的 概念 连接 。 
然后 将 这 个 结构 返回 给 sentence 。 

11) sentence 将 概念 dog: #1 连接 到 案例 框架 (7) 的 experiencer 结 点 。 

这 个 概念 图 表示 句子 的 意义 。 

语言 生成 是 自然 语言 理解 程序 涉及 的 一 个 相关 问题 。 英 语句 子 的 生成 要 求 从 意义 的 内 部 表 
示 构 建 一 个 语义 正确 的 输出 。 例 如 ，agent 关系 指明 了 两 个 概念 之 间 的 主 一 动 关系 。 简 单 的 方法 
是 将 适当 的 单词 插入 到 存储 的 句子 模板 中 。 这 些 模板 是 句子 和 片断 的 模式 ， 例 如 名 词 短语 和 介 
词 短语 。 输 出 是 通过 在 概念 图 中 移动 并 组 合 这 些 片断 来 构建 的 。 更 加 复杂 的 语言 生成 方法 使 用 
转换 文法 将 意义 映射 到 一 个 可 用 句子 范围 (Winograd 1972，Allen 1987 ) 。 

在 本 书 补充 材料 中 我 们 用 Prolog 建立 了 一 个 完整 的 递归 下 降 的 语义 网 解析 匿 ， 解 析 撤 使 用 诸 
如 join 、restrict 这 样 的 图 操作 符 来 约束 附加 于 解析 树 的 叶 结 点 上 的 语义 网 的 表示 。 
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15. 5 节 将 说 明 程序 如 何 为 语言 现象 建立 内 部 表示 。 这 种 表示 在 程序 中 有 很 多 使 用 方式 ， 这 
取决 于 具体 的 应 用 是 什么 。 在 这 里 我 们 介绍 几 个 应 用 。 但 是 在 15.4 节 ， 首 先 介绍 获取 语言 模式 
和 规律 性 的 随机 方法 。 


15. 4 语言 理解 的 随机 工具 


在 15.1 节 ， 讨论 了 支持 语言 理解 的 一 种 很 自然 的 句子 结构 分 解 方法 。 在 15.2 节 和 15. 3 节 ， 
我 们 注意 到 语言 的 语义 和 知识 密集 特征 能 够 通过 单词 和 句子 层次 上 的 表示 结构 来 实现 。 本 节 我 
们 介绍 在 这 些 层 次 上 支持 结构 化 语言 理解 的 有 关 模 式 分 析 的 随机 工具 。 


15. 4. 1 概述 ; 语言 分 析 中 的 统计 技术 


统计 语言 技术 是 当 我 们 将 自然 语言 看 作 随机 过 程 时 出 现 的 方法 。 在 日 常 谈 话 中 ， 随 机 性 意 
味 着 缺乏 结构 、 定 义 或 理解 。 然 而 ， 将 自然 语言 看 作 随 机 过 程 概括 了 确定 性 观点 。 也 就 是 说 ， 统 
计 (或 随机 ) 技术 既 能 够 对 语言 中 明确 定义 的 部 分 进行 精确 建 模 ， 也 能 够 对 确实 有 一 些 随 机 性 
的 部 分 进行 精确 建 模 。 

我 们 通过 将 语言 看 作 随机 过 程 ， 用 严格 的 数学 方法 来 重新 定义 自然 语言 理解 中 的 许多 基 
本 问题 。 可 以 做 一 个 有 趣 的 实验 ， 找 几 个 句子 ， 例 如 包含 句号 和 圆 括号 的 上 一 段 ， 然 后 用 一 
个 随机 数 发 生 器 将 这 些 词 排序 并 打印 出 来 。 得 到 的 结果 会 没有 任何 含义 。 需 要 注意 的 是 (Ju- 
rafsky and Martin 2008 ) ， 这 种 基于 模式 的 约束 在 语言 分 析 的 许多 层面 上 都 起 作用 ， 包 括 声音 模 
式 、 语 音 合成 、 文 法 结构 分 析 ， 等 等 。 作 为 一 个 使 用 随机 工具 的 例子 ， 我 们 来 思考 词性 标注 
的 问题 。 

许多 人 从 文法 课 上 学 到 了 这 个 问题 。 我 们 希望 将 句子 中 的 每 个 词 标记 为 名 词 、 动 词 、 介 词 、 
形容 词 ， 等 等 。 另 外 ， 如 果 一 个 词 是 动词 ， 我 们 希望 知道 它 是 主动 的 、 被 动 的 、 及 物 的 或 者 不 及 
物 的 。 如 果 一 个 词 是 名 词 ， 它 是 单数 还 是 复数 ， 等 等 。 遇 到 类 似 “swing” 的 单词 时 出 现 了 困难 。 
如 果 我 们 说 “front porch swing”，swing 是 名 词 ; 但 如 果 我 们 说 “swing at the ball”， 那 么 swing 是 
动词 。 下 面 我 们 引用 了 毕加索 的 一 句 话 ， 并 给 出 了 正确 的 词性 标注 ; 

Art is a lie that lets us see the truth 

名 词 动词 冠 词 名 词 代词 动词 代词 动词 惯 词 名 词 

为 了 开始 分 析 ， 我们 首先 形式 化 定义 这 个 问题 。 我 们 有 语言 中 单词 的 集合 S。={w，…， 
wj] ， 例 如 {a,aardvark ，…, zygote}, 以 及 词性 或 标记 集合 S, ={t,,…,t,}。 有 nn 个 单词 的 句子 是 
n 个 随机 变量 的 序列 W,, W,,…, W,。 因 为 它们 有 可 能 取 S$ 中 的 任意 值 ， 所 以 称 它 们 是 随机 变 
量 。 标 记 T,T。,…, Ts 也 是 一 个 随机 变量 序列 。T 的 取 值 记 为 t，W 的 取 值 记 为 Ww,。 给 定 句 子 
中 的 单词 ， 我 们 希望 找到 这 些 标记 最 可 能 的 取 值 序列 。 从 形式 上 上， 我们 希望 选取 已 , :…,tn 以 最 
大 化 : 


P(T, =t.， … ,TT = | Wi 三 Wi1， Wh = Wn) 
回忆 5.2 节 ，P(XIY) 代表 给 定 Y 后 X 的 概率 。 通 常 省 略 随机 变量 ， 记 为 : ， 
P(ti, tl wwi) (公式 1) 


注意 ， 如 果 我 们 确切 知道 这 种 概率 分 布 ， 并 且 有 足够 的 时 间 在 所 有 可 能 标记 集合 上 最 大 化 取 值 ， 
我 们 就 总 能 够 得 到 所 考虑 单词 的 最 可 能 标记 集合 。 此 外 ， 如 果 每 个 句子 确实 只 有 一 个 正确 标记 
序列 ， 这 是 文法 教师 可 能 赞成 的 一 个 想法 ， 那 么 这 种 概率 技术 将 总 能 找到 正确 的 序列 ! 这 样 ， 正 
确 序 列 的 概率 就 是 1， 其 他 序列 的 概率 就 是 0。 这 就 是 我 们 说 的 统计 观点 能 概括 确定 性 观点 时 的 
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含义 。 

实际 中 ， 由 于 存储 空间 、 数 据 和 时 间 的 限制 ， 我 们 无 法 使 用 这 一 技术 ， 必 须 采 用 某 种 近似 。 
本 节 剩 下 的 部 分 探讨 近似 公式 1 的 渐 优 的 方法 。 

首先 我 们 将 公式 1 重 写 为 更 有 用 的 形式 : 


p(t 70 ty | Was WwWn) = pt 70 th Was WwWn) { pW WwWn) 
因为 我 们 通过 选择 t,…, t, 来 最 大 化 其 取 值 ， 所 以 可 以 将 公式 1 化 简 为 ; 
pts tn Wy Wn) = 
p(t)p(w | t)pltz | bw) … pltn | w+ 7 Wn tt tn-1) = (公式 2) 


p(t | t,, sag ti_1, Wi oy Wi -1) p(w | t,, a ft _1， W1， a Wi_1) 


注意 ， 公 式 2 等 价 于 公式 1。 
15. 4.2 马尔 可 夫 模 型 方法 


实际 上 ， 通 过 我 们 在 前 面 9.3 节 的 讨论 中 可 以 看 到 ， 我 们 一 般 采 用 综合 方法 来 最 大 化 概率 的 
公式 〈 如 公式 2) ， 其 概率 以 许多 其 他 随机 变量 为 条 件 。 这 样 做 有 三 个 原因 : 首先 ,很 难 存储 以 
许多 其 他 随机 变量 为 条 件 的 随机 变量 的 概率 ， 因 为 可 能 概率 的 数量 随 着 条 件 变 量 的 个 数 呈 指数 
增长 。 其 次 ， 即 使 我 们 能 够 存储 所 有 概率 值 ， 通 常 也 很 难 评估 它们 的 值 。 经 验 上 评估 通常 靠 统计 
一 个 事件 在 手工 标记 的 训练 集中 出 现 的 次 数 来 完成 ， 因 此 若 一 个 事件 在 训练 集中 仅 出 现 几 次 ， 
那么 我 们 将 不 会 得 到 其 概率 的 好 的 评估 。 也 就 是 说 , 评估 P(cat | the) 比 P(cat | The dog 
chased the) 容易 ， 因 为 后 者 在 训练 集 出 现 的 次 数 少 。 最 后 ， 寻 找 最 大 化 类 似 公式 2 结构 的 标记 
串 会 耗费 太 多 时 间 ， 下 面 将 会 说 明 。 

首先 ， 我 们 需要 对 公式 2 做 一 些 有 用 的 近似 。 第 一 个 粗略 的 近似 为 : 


P(t Wi Wi 近似 为 P(t | ti) 
及 
P(w， | t, Wi Wi) 近似 为 P(w, | t;) 


这 些 是 一 阶 马 汞 可 夫 假 设 〈( 见 9.3 节 )， 这 种 假设 认为 当前 所 考虑 的 事情 仅 依赖 于 其 直接 后 继 
(proceeding) ， 即 与 很 久 以 前 发 生 的 事情 无 关 。 
将 这 些 近 似 代 回 到 公式 2 中 ， 我 们 得 到 


IIpG1t- p(w | (公式 3) 


我 们 能 够 直接 应 用 公式 3， 因 为 其 概率 能 够 很 容易 地 评估 和 存储 。 记 住 公式 3 只 是 P(t,,，…, ,1 
Wi,…, Wn) 的 一 个 估计 ， 我 们 仍然 需要 通过 选择 标记 (也 就 是 t,,…,t,) 来 最 大 化 其 取 值 。 幸 运 
的 是 ， 有 一 个 叫做 Viterbi 算法 (Viterbi 1967，Fomey 1973; 动态 规划 见 4.1 和 15.2 节 ，Viterbi 
算法 见 10.3 节 ) 的 动态 规划 算法 使 我 们 能 完成 此 工作 。Viterbi 算法 分 别 计算 句子 中 每 个 单词 
个 标记 序列 的 概率 ， 其 中 t 是 可 能 标记 的 个 数 。 为 了 详细 介绍 步骤 ， 要 标记 的 句子 具有 下 面 的 
形式 : 
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articie article {best tail} 
article verb {best tail} 


article noun {best tail} 


noun article {best tail} 
noun noun {best tail} 


其 中 ，{best tai} 是 动态 发 现 的 最 后 n -2 个 单词 对 应 于 给 定 n -1 个 标记 的 最 可 能 的 标记 序列 。 

标记 数 n -1 和 标记 数 n 的 每 个 可 能 值 在 表 中 都 有 一 个 人 口 〈 因 此 我 们 得 到 te 个 标记 序列 ) 。 
在 每 一 步 ， 算 法 找到 最 大 概率 并 为 每 个 最 佳 末尾 序列 添加 一 个 标记 。 这 个 算法 保证 能 找到 使 公 
式 3 最 大 的 标记 序列 ， 并 且 在 O(tes) 时 间 内 返回 ， 其 中 t+ 是 标记 个 数 ，s 是 句子 中 单词 的 个 数 。 
如 果 P(t) 以 前 面 的 n 个 标签 为 条 件 而 不 是 两 个 ，Viterbi 算法 将 耗费 O(t"s)。 因 此 ， 我 们 可 以 
看 出 建立 在 过 多 既往 变量 上 的 条 件 会 增加 找到 最 大 值 的 时 间 耗 费 。 

幸运 的 是 ， 公 式 3 中 使 用 的 近似 效果 很 好 。 当 使 用 大 约 200 个 可 能 标记 和 大 的 训练 集 来 评估 
概率 时 ， 使 用 这 种 方法 的 标记 程序 具有 约 97% 的 准确 率 ， 达 到 了 人 的 准确 率 。 马 尔 可 夫 近似 令 
人 惊讶 的 准确 性 和 简单 性 使 其 在 许多 应 用 中 非常 有 用 。 例 如 ， 大 多 数 语音 识别 系统 使 用 所 谓 的 
三 字母 组 模型 为 系统 提供 某 些 “ 文 法 知识 ”来 预测 用 户 说 的 单词 。 三 字母 组 模型 是 个 简单 的 马 
尔 可 夫 模型 ， 根 据 前 面 的 两 个 单词 评估 当前 单词 的 概率 。 它 使 用 Viterbi 算法 和 刚刚 讨论 过 的 其 
他 技术 。 要 详细 研究 这 个 模型 和 相关 技术 ， 请 参阅 Jurasky 和 Martin (2000) 。 


15. 4.3 决策 树 方 法 


马尔 可 夫 方 法 的 明显 的 问题 在 于 它 只 考虑 了 局 部 上 下 文 。 如 果 不 是 用 词性 标记 单词 ， 而 是 
希望 完成 类 似 确定 发 起 者 和 对 象 或 者 确定 动词 是 主动 还 是 被 动 的 工作 ， 那 么 需要 更 多 的 上 下 文 。 
下 面 的 句子 说 明了 这 一 问题 : 


The policy announced in December by the President guarantees lower taxes. 


实际 上 ，President 是 发 起 者 ， 但 是 使 用 马尔 可 夫 模 型 的 程序 很 可 能 会 将 policy 确定 为 发 起 者 ， 将 
announced 确定 为 主动 动词 。 我 们 可 以 设想 ， 如 果 程 序 能 够 提问 ， 如 “当前 的 名 词 是 无 生命 的 
吗 ?” 或 “单词 by 是 否 出 现在 当下 考虑 的 名 词 之 前 的 几 个 词 的 位 置 ?”"， 那 么 程序 将 在 选择 这 种 
类 型 句子 的 发 起 者 的 概率 统计 方面 智能 很 多 。 

回忆 一 下 ,标记 问题 等 价 于 最 大 化 公式 2， 即 


n 
1I p(t | t1， Wi tt， Was Wi-1) p(w | ti, 机 ti We， Wi_- 人. 
i=1 


理论 上 讲 ， 更 大 上 下 文 语 境 将 包括 简单 地 寻找 对 这 些 概率 的 更 好 的 估计 。 这 意味 着 我 们 可 以 使 
用 上 述 文法 问题 的 答案 来 精炼 概率 。 

有 几 种 方法 可 以 解决 这 个 问题 。 首 先 ， 我 们 可 以 将 马尔 可 夫 方 法 和 本 章 前 三 节 中 介绍 的 解 
析 技 术 结合 起 来 。 第 二 种 方法 利用 ID3 算法 (在 10.3 节 详 细 介 绍 ， 在 补充 材料 中 建立 了 LISP 描 
述 ) 或 一 些 等 价 算法 来 发 现 以 是 或 否 (yes 或 no) 问题 为 条 件 的 概率 。ID3 树 的 另 一 个 优点 在 
于 ,在 一 个 很 大 的 可 能 问题 集合 中 ， 它 们 会 只 选择 那些 对 精炼 概率 估计 有 用 的 问题 。 对 于 解析 一 
类 的 更 复杂 的 自然 语言 处 理 任务 ， 基 于 ID3 的 树 通常 比 马尔 可 夫 模 型 更 可 取 。 下 面 我 们 说 明 如 何 
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用 ID3 构建 用 于 解析 的 决策 树 。 
记得 上 一 节 我 们 间 了 一 个 问题 “当前 的 名 词 是 无 生命 的 吗 ?” 只 有 当 我 们 知道 哪些 词 是 有 

生命 的 ， 哪 些 词 是 无 生命 的 ， 才 能 问 这 样 的 问题 。 实 际 上 ， 有 一 种 自动 技术 可 以 为 我 们 对 单词 进 

行 分 类 ， 这 种 技术 叫做 交互 信息 聚 类 。 两 个 随机 变量 X 和 YY 之 间 分 享 的 交互 信息 定义 如 下 : 


I(X:Y) = PCx, y) 
(X:Y)= 》 Z poo Ylog, 5 G5 
XeXyeY 


要 在 单词 词汇 表 上 做 交互 信息 聚 类 ， 从 将 词汇 表 中 的 每 个 单词 分 别 放 人 一 个 不 同 的 集合 开始 。 

每 一 步 ， 我 们 用 双 字 母 组 合计 算 集合 之 间 的 平均 交互 信息 ， 双 字母 组 合 是 一 个 最 近 单 词 模 型 ， 然 

后 选择 两 个 集合 合并 ， 使 得 所 有 类 的 平均 交互 信息 委 失 最 小 。 
例如 ， 初 始 时 我 们 有 单词 cat、kiten 、run 和 green ， 算 法 的 第 一 步 ， 我 们 有 以 下 集合 : 


{cat} {kitten} {run} {green} 


单词 cat 后 面 的 第 一 个 单词 的 概率 与 kitten 后 面 第 一 个 单词 的 概率 很 可 能 近似 相等 。 换 句 话说 : 
P (eats 1 cat) 大 致 与 P (eats | kitten) 相同 
P (meows1 cat) 大 致 与 P (meows | kitten) 相同 

这 样 ， 若 令 X1、X2 、Y1 和 Y2 为 如 下 的 随机 变量 : 


X1 ={{cat}, {kitten}, {run}, {green}} 
Y1 =X1 后 跟 的 单词 

X2 ={{cat, kitten} , {run}, {green}} 
Y2 =X2 后 跟 的 单词 


那么 X2 和 Y2 之 间 的 交互 信息 和 X1 和 Y1 之 间 的 交互 信息 相 比 ， 少 得 不 多 ， 因 此 cat 和 kitten 
将 很 可 能 被 合并 。 如 果 继 续 这 个 过 程 直 到 合并 了 所 有 可 能 的 类 ， 我 们 就 得 到 一 棵 二 叉 树 。 然 后 ， 
根据 树 内 分 支 用 位 码 给 单词 赋值 ， 此 树 可 以 到 达 含有 单词 的 叶 结 点 。 这 反映 了 单词 的 语义 含义 。 
例如 : 


cat =01100011 
kitten =01100010 


此 外 ,我 们 会 发 现 ,“ 类 似 名 词 ”是 最 左边 一 位 是 1 的 所 有 单词 ， 而 那些 极 有 可 能 表示 无 生命 物 
体 的 单词 可 能 是 那些 第 3 位 为 1 的 单词 。 

这 种 新 的 字典 单词 编码 可 以 让 解析 器 的 提问 更 加 有 效 。 需 要 注意 的 是 ， 该 聚 类 没有 考虑 上 
下 文 ， 以 至 于 即使 “book” 会 被 聚 类 为 “类 似 名 词 ”单词 ， 我 们 也 希望 模型 在 短语 “book a 
flight” 中 发 现 它 时 能 将 其 标记 为 动词 。 


15. 4.4 解析 的 概率 方法 


随机 技术 已 经 应 用 于 计算 语言 学 的 许多 领域 中 ， 而 且 仍然 有 大 量 的 机 会 可 以 将 它们 应 用 到 
传统 符号 方法 无 法 解决 的 领域 。 

在 解析 中 使 用 统计 方法 是 由 模糊 性 问题 引起 的 。 模糊 性 源 于 以 下 事实 ， 给 定 一 个 句子 常常 
有 几 个 可 能 的 解析 ， 我 们 需要 选择 哪个 分 析 可 能 是 最 好 的 。 例 如 ， 句子 Print the file on the printer 
用 图 15-14 中 介绍 的 两 棵 树 都 可 以 分 析 。 

在 这 种 情况 下 ， 单 独 用 文法 规则 不 足以 选 出 正确 的 解析 。 在 Print the file on the printer 例子 
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下 Noun Phrase 
Print 
Noun Phrase Prepositional Phrase 
Article Noun 
| Preposition Noun Phrase 
the file 
on TT Noun 
the printer 
a) 
Sentence 
Verb Phrase Noun Phrase 
Verb Prepositional Phrase Article Noun 
Print 
Preposition Noun Phrase the file 
on Article Noun 
the printer 


b) 
图 15-14 “Print the file on the printer” 的 两 种 不 同 解析 


中 ， 我 们 需要 考虑 一 些 关 于 上 下 文 和 语义 的 信息 。 实 际 上 ， 随 机 技术 在 解析 领域 中 的 最 初 使 用 是 
帮助 解决 模糊 性 。 在 这 个 例子 中 ， 我 们 可 以 使 用 词性 标记 中 使 用 的 相同 的 工具 ，ID3 算法 。ID3 
基于 关于 句子 的 语义 问题 帮助 我 们 预测 一 个 解析 正确 的 概率 。 在 句子 中 有 一 些 句 法 模糊 性 的 情 
况 下 ， 我 们 能 够 选 出 具有 最 高 正确 概率 的 解析 。 同 样 地 ， 这 种 技术 需要 一 个 带 有 正确 解析 的 句子 
的 大 的 训练 语料库 。 

最 近 ， 统 计 自 然 语 言 建 模 领 域 的 人 们 变 得 更 加 雄心 勃勃 ， 试 图 用 没有 文法 的 统计 技术 进行 
解析 。 虽 然 无 文法 解析 的 细节 超出 了 本 书 的 范围 ， 但 是 可 以 肯定 的 是 ， 它 和 模式 识别 的 关系 更 密 
切 ， 而 不 仅仅 与 本 章 开 始 所 介绍 的 传统 的 解析 技术 相关 。 

无 文法 解析 已 取得 了 一 定 的 成 功 。 在 传统 的 基于 文法 的 解析 器 和 无 文法 解析 器 针对 同一 个 
句子 集 进行 解析 的 性 能 比较 实验 中 ， 基 于 文法 的 解析 器 使 用 了 常用 的 交叉 括号 (cross-bracket) 
度量 ， 获 得 了 69% 的 比分 ， 而 无 文法 解析 器 获得 了 78% 的 比分 (Magerman 1994) 。 这 样 的 差异 
虽 不 十 分 突出 ,但 是 很 有 意义 。 更 重要 的 是 ， 传 统 解析 器 中 的 文法 是 由 训练 有 素 的 语言 学 家 花 了 
大 约 十 年 才 精 心 开 发 出 来 的 ， 而 无 文法 解析 器 本 质 上 没有 使 用 硬 编码 的 语言 信息 ， 只 是 使 用 精 
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致 的 数学 模型 从 训练 数据 中 推断 出 需要 的 信息 。 要 详细 了 解 无 文法 解析 及 相关 问题 ， 请 参阅 
Manning 和 Schutze (1999 ) 。 

必 外 三 个 领域 分 别 是 语音 理解 、 语 音 转 化 为 文本 以 及 手写 体 的 识别 。 这 些 领域 同样 具有 很 
长 的 使 用 随机 方法 为 语言 建 模 的 历史 。 这 三 个 领域 中 最 通用 的 统计 方法 是 预测 下 一 个 单词 的 三 
字母 组 模型 。 该 模型 的 优点 在 于 其 简单 性 : 在 前 面 两 个 单词 的 基础 上 预测 下 一 个 单词 。 最 近 ， 有 
一 些 统计 语言 领域 的 工作 ， 在 结合 了 文法 约束 和 更 长 距离 依赖 的 同时 ， 保 持 了 该 模型 的 简单 性 
和 易 用 性 。 这 种 新 方法 使 用 所 谓 的 文法 三 字母 组 。 文 法 三 字母 组 由 单词 对 之 间 的 基本 关系 〈 即 
主语 - 动词 、 冠 词 - 名 词 和 动词 - 对 象 ) 构成 。 这 些 关系 集合 起 来 称 作 链 接 文法 。 链 接 文法 比 
语言 学 家 使 用 的 传统 文法 简单 和 容易 创建 得 多 ， 并 且 与 概率 方法 配合 得 很 好 。 

Berger 等 (1994) 描述 了 一 个 统计 程序 : Candide。 它 可 以 将 法 语文 本 翻译 为 英语 文本 。Can- 
dide 同时 使 用 统计 和 信息 理论 来 开发 翻译 过 程 的 概率 模型 。 它 只 需 在 一 个 很 大 的 法 语 和 英语 句子 
对 的 语料库 上 训练 ， 其 结果 与 商用 的 翻译 程序 Systran ( Berger et al 1994) 的 结果 相当 甚至 在 某 
些 情 况 下 还 更 好 。 特 别 有 意 义 的 是 ，Candide 系统 在 翻译 过 程 中 没有 使 用 传统 的 解析 ， 而 是 使 用 
了 刚才 提 到 的 文法 三 字母 组 和 链接 文法 。 


15. 4.5 概率 上 下 文 无 关 解 析 器 


本 节 阑 述 两 种 不 同 的 概率 上 下 文 无 关 解 析 器 ， 一 种 是 基于 结构 的 解析 器 ， 另 一 种 是 于 词汇 
化 的 解析 器 。 基 于 结构 的 解析 器 对 每 一 个 出 现 的 文法 解析 规则 进行 概率 计算 ， 其 概率 是 该 规则 
与 其 组 成 元 素 的 概率 联合 出 现 的 函数 。 

我 们 扩展 15. 2 节 所 述 的 上 下 文 无 关 的 文法 规则 集 ， 计 算 规 则 的 概率 值 ， 阑 明基 于 结构 的 概 
率 解 析 器 。 


sentence «> noun_phrase verb_phrase p(s) = p(r1) p(np) p(vp) 
noun_phrase ¢> noun p(np) = p(r2) p(noun) 

noun_phrase ¢> article noun p(np) = p(r3) p(article) p(noun) 
verb_phrase © verb p(vp) = p(r4) p(verb) 

verb_phrase © verb noun_phrase p(vp) = p(r5) p(verb) p(np) 
article «> a p(articie) = p(a) 

article 人 the p(article) = p(the) 

noun > man p(noun) = p(man) 

noun © dog p(noun) = p(dog) 

verb © likes p(noun) = pllikes) 

verb ¢© bites p(noun) = p(bites) 


单个 单词 的 概率 值 能 够 通过 这 些 单词 在 英语 句子 特定 语料库 中 出 现 的 概率 得 到 。 每 条 文法 规则 
的 概率 值 P( nm) 由 该 文法 规则 在 该 种 语言 语料库 句子 中 出 现 的 频率 决定 。 这 里 给 出 的 例子 非常 简 
单 ， 这 个 例子 只 是 用 以 说 明 概 率 上 下 文 无 关 解析 器 的 基本 特征 。 

为 了 说 明 第 二 种 解析 器 : 概率 词汇 化 上 下 文 无 关 解 析 器 ， 我 们 继续 扩展 15. 2 节 中 的 文法 规 
则 。 在 这 种 情形 下 我 们 考虑 一 条 句子 的 各 个 方面 。 首 先 考虑 语言 使 用 中 的 双 字母 组 或 三 字母 组 
概率 ， 然 后 我 们 依赖 适宜 的 语言 语料库 对 双 字 母 组 或 三 字母 组 的 概率 进行 计算 。 与 先前 所 举 的 
例子 类 似 ， 我 们 继续 从 语言 语料库 出 发 ， 依 据 每 条 解析 规则 的 出 现 频率 ， 计 算 概率 值 。 最 后 计算 
特定 名 词 和 动词 组 合 的 概率 值 。 例 如 ， 如 果 主 语 名 词 是 dog， 我 们 感 兴趣 的 是 谓语 动词 是 bites 
的 概率 。 值 得 注意 的 是 即使 从 语言 语料库 出 发 ， 概 率 的 计算 也 仍然 会 加 强 名 词 - 动词 形式 的 一 
致 性 。 
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由 于 我 们 关注 的 是 共 现 单词 的 特殊 模式 的 概率 ， 我 们 称 这 种 解析 器 为 词汇 化 解析 器 。 为 了 
简便 起 见 ， 我 们 只 讨论 双 字 母 组 下 的 解析 器 : 


1. sentence © noun_phrase(noun) verb_phrase(verb) 
p(sentence) = p(r1) p(np) p(vp) p(verb | noun) 
2. noun_phrase © noun 
ptnp) = p(r2) p(noun) 
3. noun_phrase © article noun 
p(np) = p(r3) p(article) p(noun) p(noun | article) 
4. verb_phrase © verb 
p(vp) = p(r4) p(verb) 
verb_phrase < verb noun_phrase 
pvp) = p(r5) p(verb) p(noun_phrase(noun)) p(noun |verb) 
article © a pl(article) = p(a) 
article ey the p(article) = p(the) 
noun © man p(noun) = p(man) 


PNG a 


p(man | a) 
p(man | the) 
etc. 
pllikes | man) 
etc. 
本 章 的 补充 材料 中 给 出 了 构建 本 节 所 述 的 两 种 概率 解析 器 的 Prolog 代码 。 
在 许多 其 他 领域 中 ， 严 格 的 随机 语言 建 模 技 术 尚未 得 到 采用 ， 但 是 这 种 技术 有 可 能 产生 有 
用 的 结果 。 信 息 提取 问题 或 者 是 从 手写 文本 中 获取 一 定数 量 的 具体 信息 问题 均 是 该 技术 的 潜在 
应 用 领域 。 再 比如 口语 语言 中 ， 语 调 匹配 模式 将 与 特定 的 知识 库 概 念 相关 。 其 他 例子 还 包括 语义 
网 的 搜索 。 关 于 自然 语言 处 理 的 随机 方法 的 进一步 细节 ， 可 以 参阅 Jurafsky 和 Martin (2008) 以 
及 Manning 和 Schutze (1999) 的 论著 。 
最 后 ， 我 们 给 出 几 个 计算 语言 使 用 的 例子 。 


15.5 自然 语言 应 用 


15. 5. 1 故事 理解 和 问题 解答 


对 于 自然 语言 理解 技术 可 以 进行 如 下 有 趣 的 测试 : 编写 一 个 程序 ， 该 程序 能 够 阅读 故事 或 
其 他 自然 语言 文本 材料 ， 并 能 回答 相关 的 问题 。 在 第 7 章 ， 我 们 讨论 了 故事 理解 中 所 涉及 的 一 些 
表示 问题 ， 包 括 将 文本 的 精确 内 容 与 背景 知识 相 结合 的 重要 性 。 如 图 15-2 所 示 ， 一 个 程序 可 以 
通过 如 下 方式 完成 这 一 工作 : 在 输入 的 语义 解释 和 知识 库 中 的 概念 图 结构 之 间 进 行 网 络 连 接 。 
更 复杂 的 表示 法 (如 7.1.4 节 中 的 脚本 ) 能 够 对 过 去 出 现 的 事件 等 更 复杂 的 情况 进行 建 模 。 

一 旦 程序 建立 了 文本 的 扩充 表示 ， 就 能 够 智能 地 回答 有 关 它 所 阅读 的 内 容 的 问题 。 程 序 将 
问题 解析 为 一 个 内 部 表示 ， 并 将 询问 与 故事 的 扩充 表示 进行 匹配 。 考 虑 图 15-2 的 例子 。 程 序 阅 
读 了 句子 “Tarzan kissed Jane”， 并 建立 了 一 个 扩充 表示 。 

假设 问 程 序 “Who loves Jane?”。 在 问题 的 解析 中 ， 疑 问 词 who、what、why 等 指出 了 问题 的 
意图 。who 询问 动作 的 发 起 者 ; what 询问 动作 的 对 象 ; how 询问 执行 动作 的 方法 ， 等 等 。 图 15- 
15 给 出 了 由 问题 “Who loves Jane?” 生 成 的 图 。 图 的 发 起 者 结 点 上 标记 了 一 个 ?， 它 指出 了 问题 
的 意图 所 在 。 而 后 这 个 结构 与 原始 文本 的 扩充 表示 相 结合 。 在 询问 图 中 ， 与 person: ? 绑 定 的 概 
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念 就 是 问题 的 答案 :“Tarzan loves Jane” 。 


experiencer person: ? 
person: "jane* 


图 15-15 问题 “Who loves Jane?” 的 概念 图 


15. 5.2 数据 库 前 端 


设计 自然 语言 理解 程序 的 主要 瓶颈 是 如 何 获取 有 关 应 用 领域 的 足够 的 知识 。 现 有 的 技术 适 
用 于 明确 定义 了 语义 的 狭窄 领域 。 满 足 这 些 标准 的 一 个 应 用 领域 是 为 数据 库 开 发 自然 语言 前 端 。 
虽然 数据 库 保存 了 大 量 信息 ， 但 是 这 些 信息 具有 高 度 规则 性 并 且 范围 很 窑 ， 此外， 数据 库 语义 定 
义 比 较 明确 。 由 于 具有 这 些 特征 ， 再 加 上 数据 库 能 够 接受 自然 语言 查询 的 特点 ， 使 得 数据 库 前 端 
成 为 自然 语言 理解 技术 的 一 个 重要 应 用 。 

数据 库 前 端的 任务 是 将 自然 语言 问题 翻译 成 数据 库 语言 格式 的 查询 。 例 如 ， 用 SQL 数据 库 
语言 作为 目标 语言 ( Ullman 1982) ， 自 然 语言 前 端 会 将 问题 “Who hired John Smith?” 翻译 为 
查询 : 

SELECT MANAGER 

FROM MANAGER_OF_HIRE 

WHERE EMPLOYEE =' John Smith’ 


在 翻译 的 执行 过 程 中 ， 程 序 不 仅 要 翻译 原始 查询 ; 还 必须 决定 从 数据 库 中 什么 地 方 查询 (MANAG- 
ER_OF_HIRE 关系 ) ， 要 访问 字段 的 名 称 (MANAGER) ， 以 及 查询 的 约束 (EMPLOYEE = ‘John 
Smith ) 。 原 始 问题 并 不 包含 这 些 信息 ， 这 些 信息 可 以 在 知识 库 中 找到 。 知 识 库 提 供 了 数据 库 的 
组 织 形式 以 及 可 能 的 问题 所 具备 的 含义 。 

关系 数据 库 按 实体 领域 间 的 关系 组 织 数据 。 例 如 ， 假 设 我 们 正在 创建 一 个 雇员 数据 库 ， 希 望 
能 访问 每 个 雇员 的 工资 以 及 雇佣 她 的 经 理 。 这 个 数据 库 包含 三 个 域 ， 或 者 说 实体 集合 ; 经 理 集 、 
雇员 集 和 工资 集 。 我 们 可 以 将 这 些 数 据 组 织 为 两 个 关系 ， 关 联 雇员 及 其 工资 的 employee_salary 
和 关联 雇员 及 其 经 理 的 manager_of_hire。 在 关系 数据 库 中 ， 关 系 通 常 显示 为 列举 关系 实例 的 
表 。 表 的 列 通 常 具有 名 字 ， 这 些 名 字 称 为 关系 的 属性 。 图 15-16 显示 了 关系 employee_salary 和 
manager_of_hire 的 表 。manager_of_hire 有 两 个 属性 : employee 和 manager。 关 系 的 值 是 雇员 
和 经 理 的 二 元 组 。 


manager_of_hire: employee_salary: 


employee 


employee manager 












John Smith Jane Martinez John Smith $35,000.00 
Alex Barrero Ed Angel Alex Barrero $42,000.00 
Don Morrison Jane Martinez Don Morrison $50,000.00 
Jan Claus Ed Angel Jan Claus $40,000.00 
Anne Cable Bob Veroff Anne Cable $45,000.00 


图 15-16 雇员 数据 库 中 的 两 个 关系 
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如 果 我 们 假定 雇员 有 惟一 的 名 字 、 经 理 和 工资 ,那么 雇员 名字 可 以 作为 工资 和 经 理 属 性 的 
主键 。 一 个 属性 是 另 一 个 属性 的 主键 ， 如 果 它 惟一 确定 另外 一 个 属性 的 元 素 取 值 。 一 个 合法 的 查 
询 指明 一 个 目标 属性 并 定义 一 个 值 或 约束 集合 ; 数据 库 返 回 目标 属性 的 指定 值 。 我 们 可 以 用 很 
多 种 图 形 化 方法 指明 主键 和 其 他 属性 之 间 的 关系 ， 包 插 实 体 关系 图 (Ullman 1982) 和 数据 流 图 
(Sowa 1984 ) 。 这 两 个 方法 都 使 用 有 向 图 显示 主键 到 属性 的 映射 。 

我 们 可 以 扩展 概念 图 来 包含 这 些 关 系 图 (Sowa 1984)。 定 义 映 射 的 数据 库 关系 用 萎 形 表示 ， 
并 标注 有 关系 的 名 字 。 关 系 的 属性 在 概念 图 中 表示 为 概念 ， 箭 头 的 方向 表示 主键 到 其 他 属性 的 
映射 。employee_salary 关系 和 manager_of_hire 关系 的 实体 关系 图 见 图 15-17。 


在 将 英语 翻译 为 标准 查询 的 过 程 中 ,我 们 必 
须 确 定 包 含 答案 的 记录 ， 要 返回 的 记录 的 字段 ， 
以 及 决定 该 字段 的 主键 的 值 。 我 们 不 是 直接 从 英 | | 
语 翻 译 为 数据 库 语言 ， 而 是 先 翻 译 为 一 种 更 有 表 | | 
现 力 的 语言 ， 如 概念 图 。 这 一 步骤 是 必要 的 ， 因 manager_ot_hire: employee_salary 
为 许多 英语 询问 是 模糊 的 ， 需 要 额外 的 解释 才能 
生成 标准 格式 的 数据 库 查 询 。 更 有 表现 力 语 言 的 A A 
使 用 将 有 助 于 这 一 过 程 的 完成 。 | | 

如 本 章 前 面 所 描述 ， 自 然 语 言 前 端 将 询问 解 [ernioyes | [see 
析 并 解释 为 一 个 概念 图 。 然 后 使 用 联结 和 限制 操 employee | omployee | 


作 将 这 个 图 与 知识 库 中 的 信息 结合 起 来 。 在 本 例 ”图 15-17 manager_of_hire 与 employee_salary 
中 ， 我 们 要 处 理 类 似 “Who hired John Smith?” 或 的 实体 关系 图 


“How much does John Smith eam?” 这 样 的 询问 。 对 
于 每 个 潜在 的 询问 ， 我 们 保存 一 个 定义 其 动词 、 动 he 
词 的 事例 角色 的 图 以 及 与 问题 相关 的 任意 实体 关系 
图 。 图 15-18 显示 了 “hire” 询问 的 知识 库 条 目 。 
语义 解释 器 生成 一 个 用 户 询问 的 图 ， 并 将 该 
图 与 适当 的 知识 库 条 目 联结 。 如 果 有 一 个 附加 的 
实体 关系 图 将 主键 映射 到 问题 目标 ， 程 序 就 可 以 


| ee 
使 用 这 个 实体 关系 图 形成 一 个 数据 库 查 询 。 图 15- 
19 显示 了 问题 “Who hired John Smith?” 的 询问 15-18 “hire” 询 问 的 知识 库 条 目 


图 ， 以 及 将 其 与 图 15-18 中 知识 库 实体 联结 后 得 
到 的 结果 。 它 还 显示 了 由 该 图 形成 的 SQL 查询 。 注 意 正确 记录 的 名 字 、 昌 标 字 段 和 查询 的 主键 
在 自然 语言 询问 中 没有 定义 。 这 些 都 从 知识 库 中 推出 。 

在 图 15-18 中 ， 只 知道 原 询问 的 agent 和 object 具有 类 型 person。 要 将 它们 与 知识 库 实体 
hire 联结 ， 必 须 首先 将 它们 分 别 限 制 为 manager 和 employee 类 型 。 这 样 类 型 层次 就 能 够 用 来 对 
原 询问 执行 类 型 检查 。 如 果 john smith 不 具有 类 型 employee， 那 么 问题 就 是 非法 的 ， 程 序 也 能 
够 探测 到 。 

一 旦 建立 了 扩展 询问 图 ， 程 序 就 检查 日 标 概念 ， 打 上 ?标记 ， 并 且 决 定 将 一 个 主键 映射 到 概 
念 的 manager_of_hire 关系 。 因 为 主键 绑 定 到 值 john smith， 所 以 问题 是 合法 的 ， 程 序 能 形成 正 
确 的 数据 库 查 询 。 将 实体 关系 图 翻译 为 SQL 或 其 他 语言 是 直接 明了 的 。 

虽然 这 个 例子 很 简单 ， 但 是 它 说 明了 如 何 使 用 基于 知识 的 方法 来 建立 自然 语言 数据 库 前 端 。 我 
们 例子 中 的 概念 用 概念 图 表示 ， 也 可 以 映射 到 其 他 表示 法 ， 如 框架 或 基于 谓词 逻辑 的 形式 方法 。 
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person: "john smith" 


manager 
| of_hire: 
术 


employee: "john smith" |-----~---~-----——~ 


SQL 数据 库 语言 SELECT MANAGER 
中 的 查询 : FROM MANAGER_OF_HIRE 
WHERE EMPLOYEE = "john smith" 


图 15-19 从 自然 语言 输入 的 图 得 出 数据 库 查 询 


查询 的 扩充 图 : 


15. 5. 3 Web 信息 抽取 和 摘要 系统 


万 维 网 经 为 人 工 智 能 和 自然 语言 理解 研究 带 来 了 激动 人 心 的 挑战 ， 也 带 来 了 饶 有 趣味 的 机 
遇 ， 其 中 最 有 意义 的 工作 是 开发 这 样 的 智能 软件 ， 该 软件 能 够 概括 出 “有 兴趣 的 ”基于 Web 的 
资料 。 这 个 问题 实际 上 分 为 两 部 分 : 在 网 页 上 定位 可 能 成 为 兴趣 点 的 信息 所 在 的 位 置 以 及 提取 
或 挖掘 这 些 感 兴趣 信息 的 关键 要 素 。 尽 管 定位 有 趣 信 息 的 第 一 个 问题 是 关键 的 〈 第 10 章 、 第 13 
章 和 第 15 章 的 许多 技术 是 很 重要 的 ) ， 但 是 我 们 现在 先 考虑 一 个 模板 匹配 和 填充 算法 ， 以 此 为 基 
础 再 讨论 第 二 个 问题 。 

在 定位 信息 后 ， 可 能 用 关键 词 匹配 或 更 复杂 的 搜索 引擎 ， 信 息 抽取 系统 以 这 些 无 任何 限制 
的 文本 为 输入 ， 围 绕 一 个 预先 定义 的 领域 或 感 兴趣 的 主题 来 进行 概括 。 它 发 现 关于 该 领域 的 有 
用 信息 ， 编 码 信息 的 格式 使 其 适 于 向 用 户 报告 或 填充 到 结构 化 数据 库 中 。 

与 深入 的 自然 语言 理解 系统 相反 ， 信 息 抽取 系统 浏览 一 个 文本 ， 发 现 有 关 部 分 ， 然 后 只 集中 
处 理 这 些 部 分 。 我 们 提出 了 一 个 基于 模板 的 方法 ， 该 方法 与 许多 研究 者 提出 的 信息 抽取 方法 
( Cardie 1997 ，Cardie and Mooney 1999) 相似 。 我 们 的 信息 抽取 方法 的 示意 图 如 图 15-20 和 图 15- 
21 所 示 。 假 如 我 们 想 要 搜集 并 概括 万 维 网 上 计算 机 科学 的 大 学 教员 的 信息 ， 图 15-20 给 出 了 目标 
工作 ， 并且 提 出 了 信息 模板 ， 我们 可 以 使 用 我 们 的 软件 从 该 信息 模板 上 提取 信息 并 进行 相应 的 
工作 。 

在 早期 的 信息 抽取 尝试 中 ， 自 然 语言 系统 (natural language system) 使 用 差别 非常 大 的 方法 。 
在 一 个 极端 ， 系 统 使 用 传统 的 工具 处 理 文 本 : 对 每 个 句子 进行 完整 的 语法 分 解 ， 同 时 进行 详细 的 
语义 分 析 。 接 着 还 常常 进行 话语 级 处 理 。 在 另 一 个 极端 ， 系 统 使 用 很 少 甚至 没有 知识 的 关键 词 匹 
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配 技术 或 者 语言 级 分 析 。 然 而 ， 随 着 更 多 系统 的 建立 和 评估 ， 这 些 极端 方法 的 局 限 也 越 来 越 明 
显 。 图 15-20 和 图 15-21 介绍 了 一 个 改编 自 Cardie (1997) 的 更 先进 的 信息 抽取 体系 结构 。 虽 然 
该 结构 在 应 用 中 的 细节 可 能 各 不 相同 ， 但 是 图 中 指明 了 信息 抽取 过 程 中 执行 的 主要 功能 。 

计算 机 科学 系 招聘 广告 (摘录 ) 样 例 : 


The Department of Computer Science of the University of New Mexico. . .is conducting 
a search to fil] two tenure-track positions. We are interested in hiring people with research 
interests in: 

Software, including analysis, design, and development tools. .. 

Systems, including architecture, compilers, networks. . . 


Candidates must have completed a doctorate in. .. 

The department has internationally recognized research programs in adaptive computa- 
tion, artificial intelligence, . . . and enjoys strong research collaborations with the Santa Fe 
Institute and several national laboratories. ... 


已 部 分 填充 的 模板 样 例 : 


Employer: Department of Computer Science, University of New Mexico 
Location City: Albuquerque 

Location State: NM 87131 

Job Description: Tenure track faculty 

Job Qualifications: PhD in ., . 

Skills Required: software, systems, .. . 

Platform Experience: ... 

About the Employer: (text attached) 


图 15-20 计算 机 科学 广告 的 样本 文本 、 模 板 摘 要 与 信息 抽取 
1. 文本: The Department of Computer Science of the Univer- 


sity of New Mexico is conducting a search to fll two 
track track positions. We are interested in hiring ... 


2. 符号 化 和 标记 : The/det Department/Noun of/prep .… 


3. 句子 分 析 : Department/Subj is conducting/verb search/obj … 
4. 抽取 : Employer: Department of Computer Science 


Job Description: Tenure track position ... 


5. 合 并 : tenure track position = faculty 
New Mexico = NM ... 
6. 模板 生成 : As in Figure 15.19 
图 15-21 信息 抽取 的 一 个 体系 结构 ， 引 自 Cardie (1997) 


首先 ， 将 “ 感 兴趣 ”网 站 的 每 个 句子 符号 化 并 标记 。 可 以 使 用 i5.4 节 介绍 的 随机 标记 器 。 
接着 是 句子 分 析 阶 段 ， 执 行 解析 得 到 名 词组 合 、 动 词 、 介 词 短语 和 其 他 文法 结构 。 接 下 来 抽取 阶 
段 找到 并 标记 与 抽取 主题 相关 的 语义 实体 。 在 我 们 的 例子 中 ， 这 个 阶段 识别 雇员 姓名 、 地 址 、 工 
作 要 求 〈 学 历 、 计 算 机 应 用 技能 ， 等 等 ) 、 开 始 任职 时 间 ， 等 等 。 

抽取 阶段 是 过 程 中 第 一 个 完全 具体 到 领域 的 阶段 。 在 抽取 过 程 中 ， 系 统 确定 文本 相关 成 分 
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之 闻 的 特定 关系 。 在 我 们 的 例子 中 ， 计 算 机 科学 系 看 作 是 雇主 ， 地 址 是 新 墨西哥 大 学 。 合 并 阶段 
必须 处 理 类 似 同 义 词 关联 和 指 代 分 析 之 类 的 问题 。 同 义 词 的 例子 是 tenure-track 和 faculty， 以 及 
New Mexico 和 NM。 指 代 分 析 将 第 一 句 中 的 Department of Computer Science 和 第 二 句 中 的 主语 we 
连结 起 来 。 

合并 过 程 中 所 做 的 话语 级 推理 协助 模板 生成 过 程 ， 确 定 文本 中 不 同 关系 的 数量 ， 将 这 些 抽 
取出 来 的 信息 块 映射 到 模板 的 每 个 字段 ， 并 生成 最 终 的 输出 模板 。 

尽管 最 近 取 得 了 一 些 进 步 , 但 是 目前 的 信息 抽取 系统 仍然 有 许多 问题 。 第 一 ， 这 些 系 统 的 精 
确 性 和 健壮 性 还 可 以 有 很 大 改进 ， 因 为 抽取 中 的 错误 似乎 源 于 对 输入 文本 的 含义 (语义 ) 相当 
肤浅 的 理解 。 第 二 ， 在 一 个 新 领域 中 建立 信息 抽取 系统 是 困难 而 且 费 时 的 〈Cardie 1997) 。 这 两 
个 问题 都 与 抽取 任务 的 特定 领域 特性 有 关 。 如 果 将 语言 知识 来 源 调 整 到 特定 的 领域 ， 那 么 信息 
抽取 过 程 会 有 很 大 改善 ， 但 是 手工 更 改 领域 特定 的 语言 知识 既 困 难 ， 又 容易 出 错 。 

虽然 如 此 ， 现 在 还 是 有 很 多 有 意义 的 应 用 。Glasgow 等 (1997) 建立 了 一 个 系统 ， 支 持 保险 
商 在 人 寿 保险 分 析 中 的 应 用 。Soderland 等 (1995) 建立 了 一 个 系统 ， 从 用 于 保险 处 理 的 病人 医 
疗 记录 中 抽取 症状 、 身 体检 查 、 化 验 结果 和 和 诊断。 还 有 一 些 分 析 新 闻 发 现 并 归纳 合资 商业 企业 风 
险 的 程序 (MUC-5 1994) ， 一 些 自动 分 类 法 律 文件 的 系统 (Holowczak and Adam 1997 ) ， 以 及 一 
些 从 计算 机 求职 列表 中 抽取 详细 信息 的 程序 (Nahm and Mooney 2000) 。 


15. 5. 4 ”用 学 习 算法 来 泛 化 抽取 的 信息 


另外 一 个 应 用 是 将 本 章 介 绍 的 许多 思想 与 机 器 学 习 算法 《 见 10.3 节 ) 结合 起 来 。Cardie 和 
Mooney (1999) 以 及 Nahm 和 Mooney (2000) 提出 从 文本 中 抽取 出 的 信息 可 以 用 机 器 学 习 算 法 
泛 化 ， 并 将 结果 重用 于 信息 抽取 任务 。 : 

方法 是 简单 明了 的 。 从 适当 的 Web 站 点 收集 到 完全 甚至 部 分 填充 的 文本 搞 要 模板 ， 例 如 图 
15-20 中 所 示 的 。 然 后 将 得 到 的 模板 信息 存储 到 关系 数据 库 中 ， 用 ID3 或 C4. 5 之 类 的 学 习 算法 抽 
取出 决策 树 ， 决 策 树 能 反映 出 隐藏 在 数据 集中 的 规则 关系 ， 见 9.3 节 (这 种 技术 称 为 数据 挖 
据 ) 。 

Mooney 和 他 的 同事 提出 这 些 新 发 现 的 关系 应 该 用 来 精炼 信息 抽取 中 原来 使 用 的 模板 和 知识 
结构 。 从 15. 5. 3 节 的 计算 机 科学 求职 应 用 分 析 中 发 现 的 这 类 信息 的 例子 可 能 包括 : 如 果 职 位 是 
计算 机 科学 系 教员 ， 那 么 不 需要 特定 的 计算 平台 经 验 ; 如 果 大 学 正在 聘任 教员 ， 那 么 需要 研究 经 
验 ， 等 等 。 更 详细 的 内 容 可 以 参阅 Nahm 和 Mooney (2000 ) 。 

在 目前 的 计算 语言 学 中 有 很 多 专题 属于 我 们 要 研究 的 目标 。 我 们 归纳 为 三 个 方面 。 第 一 ， 理 
解 口语 的 关键 单元 是 什么 ?已 经 有 很 多 研究 者 尝试 去 回答 该 问题 ， 他 们 通过 分 析 英语 句子 ， 识 别 
单个 单词 ， 关 注 个 人 语音 。 关 注音 节 是 解决 人 类 语言 理解 的 关键 吗 ? 我 们 在 听 到 一 个 单词 到 反应 
出 来 之 间 到 底 需 要 多 长 时 间 ? 最 优 的 分 析 语 速 到 底 是 多 少 (Greenberg 1999)? 

第 二 ， 基 于 声音 识别 来 接受 知识 库 中 的 概念 可 以 进一步 为 语言 的 翻译 提供 条 件 吗 ? 假如 音 
节 就 是 语言 分 析 的 最 有 用 的 单元 ， 假 如 双 音 节 对 说 话 者 的 单词 是 有 用 的 ， 那么 这 些 单词 能 映射 
到 知识 库 中 的 概念 中 吗 ? 相关 的 知识 能 用 来 提高 对 接 下 来 音节 的 理解 吗 ? 一 个 基于 计算 机 的 旅 
游 组 织 程序 的 调用 程序 可 以 识别 城市 名 称 的 音节 ， 然后 计算 机 预测 与 浏览 该 城市 相关 的 问题 。 

第 三 ， 自 然 语 言 处 理 的 长 期 目标 就 是 创建 语义 网 ; 这 是 怎么 产生 的 ? 或 者 说 这 会 产生 吗 ? 这 
里 有 计算 机 可 以 “理解 ”的 任何 方法 论 的 东西 吗 ? 或 者 说 还 一 直 是 那些 基于 搜索 的 模式 驱动 的 
“小 技巧 ”*"， 这 些 非常 好 的 “小 技巧 ”给 人 造成 了 计算 机 理解 的 假象 (又 一 个 图 灵机 测试 )? 现 
在 人 类 做 得 是 否 “ 足 够 好 ”? 最 后 一 章 将 会 继续 讨论 这 些 以 及 相关 的 问题 。 
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15.6 结语 和 参考 文献 


正如 本 章 中 所 提 到 的 ， 自 然 语言 中 有 许多 定义 文法 和 解析 句子 的 方法 。 作 为 这 些 方法 的 典 
型 例子 ， 我们 介绍 了 ATN 解析 器 和 马尔 可 夫 模 型 。 读 者 应 该 能 注意 到 其 他 可 能 的 方法 ， 包 括 转 
换文 法 、 语 义 文法 、 案 例文 法 和 特征 与 功能 文法 〈Winograd 1983 ，Allen 1995 ，Jurafsky and Mar- 
tin 2008 ) 。 

转换 文法 使 用 上 下 文 无 关 规则 表示 句子 的 深层 结构 ， 或 者 说 含义 。 这 种 深层 结构 可 以 表示 
为 一 棵 解析 树 ， 不 仅 包含 终结 符 和 非 终 结 符 ， 还 包括 一 个 称 作 文法 标记 的 符号 集合 。 这 些 文法 标 
记 表 示 语 言 结构 中 如 单 复数 、 时 态 和 其 他 上 下 文 相关 概念 之 类 的 特征 。 而 且 ， 称 为 转换 规则 的 一 
个 高 层 规则 集合 在 深层 结构 和 表层 结构 之 间 转 化 ， 表 层 结构 更 接近 于 句子 的 实际 形式 。 例 如 ， 
“Tom likes Jane” 和 “Jane is liked by Tom” 有 相同 的 深层 结构 但 不 同 的 表层 结构 。 

转换 规则 作用 于 解析 树 ， 执 行 需要 全 局 上 下 文 的 检查 ， 并 生成 合适 的 表层 结构 。 例 如 ， 一 条 
转换 规则 可 以 检查 代表 句子 主语 的 结 点 的 单 复数 特征 与 动词 结 点 的 单 复数 特征 是 否 相 同 。 转 换 
规则 也 可 以 把 单个 深层 结构 映射 到 多 个 表层 结构 ， 如 将 主动 语气 变 为 被 动 或 者 肯定 变 为 疑问 。 
虽然 本 文中 不 论述 转换 文法 ， 但 是 它们 是 扩张 短语 结构 文法 的 一 个 重要 选择 。 

Terry Winograd (1983) 在 《Language as a Cognitive Process》 中 提出 了 一 种 文法 和 解析 的 综合 
处 理 方法 。 该 书 提 出 了 对 转换 文法 的 一 个 非常 彻底 的 处 理 。James Allen (1987，1995) 写 的 
《Natural Language Understanding》 对 自然 语言 理解 程序 的 设计 和 实现 做 了 一 个 综述 。Mary Dee 
Harris (1985) 的 《Introduction to Natural Language Processing》 是 另 一 本 综述 自然 语言 理解 的 书 ， 
并 扩充 了 本 章 中 遇 到 的 问题 。 我 们 还 推荐 Gerald Gazdar 和 Chris Mellish (1989) 的 《Natural Lan- 
guage Processing in Prolog》。Charniak (1993) 和 Chamiak 等 (1993) 介绍 了 语言 和 语音 片段 标记 
的 随机 方法 中 的 问题 。 

自然 语言 的 语义 分 析 包 括 知识 表示 〈 见 第 7 章 ) 中 提 到 的 许多 难题 。 在 Chamiak 和 Wilks 
(1976) 的 《Computational Semantics》 中 对 这 些 问题 进行 了 讨论 。 由 于 在 对 自然 语言 交互 需要 的 
知识 和 社会 环境 建 模 时 的 困难 ,许多 作者 对 将 这 一 技术 应 用 于 不 受 限 领域 的 可 能 性 提出 了 质疑 。 
对 话语 分 析 的 早期 研究 可 以 在 Linde (1974)、Grosz (1977) 和 Grosz 和 Sidner (1990) 中 找到 。 
Winograd 和 Flores (1986) 的 《Understanding Computers and Cognition》、John Searle (1980) 的 
《Minds ，Brains ，and Programs》 以 及 Smith (1996) 的 《On the Origin of Objects》 都 讨论 了 这 些 
问题 。 

Schank 和 Riesbeck (1981) 的 《Inside Computer Understanding》 讨 论 了 使 用 概念 依赖 技术 的 
自然 语言 理解 。Schank 和 Abelson (1977) 的 《Scripts ，Plans ，Goals and Understanding》 讨论 了 
自然 语言 程序 中 高 层 知识 组 织 结构 的 作用 。 

John Searle (1969) 的 《Speech Acts》 讨 论 了 对 话语 建 模 过 程 中 语 用 和 语 境 知识 的 作用 。 
Fass 和 Wilks (1983) 指出 语义 偏好 理论 (semantic preference theory) 是 自然 语言 语义 建 模 的 工 
具 。 语 义 偏好 是 案例 文法 的 泛 化 ， 使 得 案例 框架 可 以 转化 。 这 为 语义 表示 提供 了 更 大 的 灵活 性 ， 
并 可 以 表示 像 比喻 和 类 比 这 样 的 概念 。 要 完整 了 解 乔 姆 斯 基层 次 ， 可 以 参考 Hopcrof 和 Ullman 
(1979) 。 我 们 对 概念 图 的 处 理 从 John Sowa (1984) 的 《Conceptual Structures》 中 获 益 菲 浅 。 

语言 处 理 技术 的 近期 介绍 可 以 从 下 面 的 文章 中 找到 : Jurafsky 和 Martin (2008) 的 《Speech 
and Language Processing》、Manning 和 Schutze (1999) 的 《Foundations of Statistical Natural Lan- 
guage Processing》、Cole (1997) 的 《Survey of the State of the Art in Human Language Technology》 
以 及 《AI Magazine》1997 冬季 版 。 
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现在 有 许多 商业 出 版 物 关 于 基于 计算 机 的 语言 理解 、 产 生 和 基于 语言 的 数据 挖 握 。 尽 管 可 


以 用 这 些 产 品 做 实验 ,但 是 它们 的 源 代码 一 般 不 公开 ， 所 以 这 里 我 们 不 做 讨论 。 


追踪 自然 语言 理解 研究 趋势 的 最 好 的 参考 资料 ， 从 传统 和 随机 两 方面 的 观点 ， 是 AI 会 议 每 


年 的 会 议 录 : AAAI 和 JCAI， 由 AAAI 出 版 社 经 由 MIT 出 版 社 出 版 ;Association of Computational 
Linguistics 也 有 在 美国 和 国际 上 每 年 举办 的 国际 会 议 ， 另 外 还 有 《Journal of the Association for 
Computational Linguistics》。 这 些 都 是 目前 技术 上 重要 的 资源 。 


15.7 习题 


1. 


将 下 列 句子 分 类 为 语法 错误 ， 语 法 正确 但 无 意义 ， 有 意义 但 不 正确 ， 或 者 正确 。 理 解 过 程 中 ， 在 什么 地 
方 发 现 的 这 些 问题 ? 

Colorless green ideas sleep furiously. 

Fruit flies like a banana. 

Dogs the bite man a. 

George Washington was the fifth president of the USA. 

This exercise is easy. 


T want to be under the sea in an octopus’s garden in the shade. 


. 讨论 理解 下 列 句子 必须 的 表示 结构 和 知识 。 


The brown dog ate the bone. 
Attach the large wheel to the axle with the hex nut. 


， Mary watered the plants. 


The spirit is willing but the flesh is week. 
My kingdom for a horse! 


. 用 15.2.1 节 的 “dogs wodd” 文 法 解析 下 面 的 句子 。 哪 些 是 不 合法 的 句子 ?为 什么 ? 


The dog bites the dog. 
The big dog bites the man. 
Emma likes the boy. 

The man likes. 


Bite the man. 


4. 扩充 “dogs world” 文 法 ,使 其 能 够 包括 练习 3 中 不 合法 的 句子 。 


. 用 15.2.3 节 的 上 下 文 相关 文法 解析 下 面 的 句子 。 


The men like the dog. 
The dog bites the man. 


. 为 下 列 句子 生成 解析 树 。 你 将 不 得 不 用 更 复杂 的 语言 结构 扩充 我 们 简单 的 文法 ， 如 副词 、 形 容 词 和 介词 


短语 。 如 果 一 个 句子 有 多 种 解析 ， 那 么 画 出 所 有 的 解析 树 ， 并 解释 可 以 用 来 选择 解析 的 语义 信息 。 
Time flies like an arrow but fruit flies like a banana. 
Tom gave the big, red book to Mary on Tuesday. 
Reasoning is an art and not a science. 


To err is human, to forgive divine. 


. 扩充 “dogs world” 文 法 ,使 得 名 词 短 语 中 包含 形容 词 。 要 确信 能 包含 不 确定 个 数 的 形容 词 。 提 示 : 用 一 


条 递归 规则 adjective_list， 或 者 为 空 ， 或 者 包含 一 个 形容 词 加 上 后 面 跟 随 的 一 个 形容 词 列表 。 将 这 个 文 
法 映射 到 转移 网 络 。 


- 将 下 列 上 下 文 无 关 文法 规则 添加 到 15. 2. 1 节 的 “dogs world” 文 法 中 。 将 得 到 的 文法 映射 到 转移 网 络 。 


sentence 一 noun_phrase verb_phrase prepositional_phrase 
prepositional_phrase Preposition noun_phrase 
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preposition = with 
preposition ~ to 
preposition on 
9. 为 带 形 容 词 (练习 7) 和 介词 短语 (练习 8) 的 “dogs world” 文法 定义 一 个 ATN 解析 器 。 
10. 定义 表示 练习 9 中 文法 的 意义 所 需 的 概念 图 中 的 概念 和 关系 。 定义 从 解析 树 建 立 语义 表示 的 过 程 。 
11. 扩充 15.2.3 节 的 上 下 文 相关 文法 来 检查 主语 和 动词 之 间 的 语义 一 致 。 特别 是 ， 虽 然 狗 可 以 喜欢 或 者 咬 
人 ,但 是 人 不 应 该 咬 狗 。 对 ATN 文法 做 相似 的 改进 。 
12. 扩充 15.2.4 节 的 ATN 文法 来 包含 who 和 what 问 句 。 
13. 描述 如 何 将 15. 4 节 的 马尔 可 夫 模 型 与 符号 化 方法 结合 来 理解 15. 1 到 15. 3 节 中 的 语言 。 
14. 扩充 15. 5.2 节 的 数据 库 前 端 例 子 ， 使 其 可 以 回答 “How much does Don Morison earn?” 形式 的 问题 。 你 
需要 扩充 文法 、 表 示 语 言 和 知识 库 。 
15. 将 上 一 个 问题 中 的 单词 ， 包 括 标点 ， 以 随机 顺序 排列 。 
16. 15. 5. 2 节 的 例子 中 ,假设 经 理 与 其 他 雇员 都 列 在 employee_salary 关系 中 。 扩 充 该 例子 , 使 其 能 处 理 
类 似 “Find any employee that earns more than his or her manager” 的 询问 。 
17. 15.4 节 中 的 随机 方法 如 何 能 与 15. 5. 2 节 中 的 数据 库 分 析 技 术 结 合 起 来 。 
18. 用 随机 方法 在 关系 数据 库 中 进行 模式 发 现 是 目前 研究 的 一 个 重要 领域 ， 有 时 称 为 数据 挖 报 ( 见 10.3 
节 ) 。 如 何 用 这 种 方法 来 回答 询问 ， 例 如 15. 5. 2 节 中 提出 的 关于 关系 数据 库 的 询问 ? 
19. 为 某 些 领域 建立 在 万 维 网 上 使 用 的 信息 抽取 系统 。 参 考 15.5.3 节 中 的 建议 。 
20. 在 本 书 的 补充 材料 中 ， 把 Prolog 的 上 下 文 无 关 和 上 下 文 相关 分 析 器 的 结构 、 形 容 词 、 副 词 、 前 置 短 语 
都 转换 为 文法 。 
21. 在 本 书 的 补充 材料 中 ， 把 Prolog 的 随机 上 下 文 无 关 分 析 器 结构 、 形 容 词 、 副词 、 前 置 短 语 都 转换 为 
文法 。 





和 和 2 . : 











计算 机 科学 的 潜能 如 果 能 够 被 全 部 挖 握 和 开发 出 来 ， 它 将 把 我 们 带 到 一 个 更 高 的 关于 也 界 
的 知识 平台 。 计 算 机 科学 将 帮助 我 们 对 智能 处 理 有 更 深入 的 理解 ， 能 增长 我 们 在 学 习 过 程 、 思 考 
过 程 和 推理 过 程 中 的 知识 。 计 算 机 科学 能 够 为 认 知 科学 提供 模型 化 和 概念 化 工具 ， 正 如 物理 学 
在 几乎 整个 20 世纪 中 统治 了 人 类 智能 的 努力 一 一 样 。 当 时 人 们 主要 探索 物理 的 本 质 和 宇宙 的 起 源 ， 
而 现在 我 们 正在 开始 探索 意识 、 知识 结构 以 及 语言 的 智能 字 宙 。 我 预见 那些 将 极 大 改变 我 们 生 
活 的 重大 进步 将 会 持续 不 断 地 出 现 …… 我 们 能 预见 人 们 将 能 够 理解 如 何 去 组 织 和 管理 知识 …… 

约翰 霍 波 克 洛 夫 特 ，ACM 图 灵 奖 演说 ，1987 

介意 吗 ? 无 所 谓 。(What is mind? No matter ) 
无 所 谓 ? 不 介意 …… (What is matter? Never mind.…) 





一 一 霍 默 .辛普森 
知道 什么 并 不 重要 ， 重 要 的 是 我 们 从 知道 的 东西 中 学 到 了 什么 
一 一 龙 尔 ' 书 佛 ， 前 巴尔 的 摩 金 营 队 总 教练 和 经 理 


对 智能 本 质 的 思考 


尽管 本 书 讲述 了 人 工 智能 的 较 大 的 哲学 意蕴 ， 但 主要 还 是 强调 用 来 建立 智能 的 基于 计算 机 
的 人 工 制品 的 工程 技术 。 在 本 书 的 最 后 部 分 ， 将 再 次 讨论 这 些 深 层次 的 问题 ,讨论 人 工 智能 的 哲 
学 基础 ， 重 新 评价 使 用 人 工 智 能 技术 来 建立 智能 科学 的 可 能 性 ， 并 推测 这 门 学 科 未 来 的 发 展 
进程 。 

正如 在 本 书 一 直 提 到 的 ， 人 类 认 知 和 问题 求解 方面 的 研究 对 人 工 智能 理论 和 程序 实践 做 出 
了 巨大 的 贡献 。 反 过 来 ， 人 工 智能 方面 的 工作 也 为 许多 学 科 (包括 生物 学 、 语 言 学 和 认 知 心理 
学 ) 在 模型 构造 和 实验 测试 方面 给 出 了 很 好 的 引导 。 在 总 结 我 们 所 表述 的 观点 时 ， 我 们 想 再 采 
取 这 种 折 中 的 精神 ， 并 考虑 如 下 这 些 问题 : 表达 的 局 限 性 、 现 实 具体 化 到 智力 过 程 的 重要 性 ， 以 
及 在 知识 的 增长 和 解释 中 文化 的 作用 。 这 些 问题 引导 我 们 更 深入 地 思考 科学 问题 和 哲学 问题 ， 
比如 那些 有 关 对 模型 的 牌 曲 以 及 科学 方法 自身 的 本 质 和 能 力 的 问题 。 我 们 的 观察 使 得 我 们 赞成 
采取 一 种 跨 学 科 的 方法 ， 将 人 工 智能 的 研究 与 其 他 各 学 科 的 研究 结合 起 来 ， 这 些 学 科 包括 心理 
学 、 语 言 学 、 生 物 学 、 人 类 学 、 认 知 学 以 及 其 他 探索 人 类 思维 及 其 产物 的 学 科 。 我 们 相信 通过 探 
索 这 些 学 科 的 交互 与 区 别 ， 能 够 很 好 地 理解 智能 内 部 的 过 程 ， 不 管 是 基于 生物 的 还 是 机 械 的 。 

传统 上 ， 人 工 智 能 的 研究 通常 是 基于 物理 符号 系统 假设 〈Newell and Simon 1976) 。 从 这 种 观 
点 出 发 的 研究 将 不 断 地 产生 复杂 的 数据 结构 和 搜索 策略 ， 它 们 依次 将 在 两 个 方面 导致 许多 重要 
的 成 功 ， 一 方面 是 构建 一 种 能 达到 智能 行为 各 元 素 的 工具 ， 另 一 方面 是 阐明 那些 能 整理 出 人 类 
智能 的 许多 组 件 。 不 管 怎样 ， 需 要 重点 指出 的 是 ， 那 些 从 较 早 的 方法 中 形成 的 人 工 智 能 的 实践 活 
动 还 停留 在 来 自 于 哲学 理性 主义 的 假设 之 上 。 正 如 理性 主义 传统 所 定义 的 ， 智 能 本 身 在 很 大 程 
度 上 被 看 作 是 逻辑 推理 、 科 学 问题 求解 以 及 一 种 直接 的 经 验 式 的 理解 世界 的 过 程 。 我 们 认为 哲 
学 理性 主义 已 经 过 度 限制 了 人 工 智 能 当前 的 方法 及 其 探索 研究 的 范围 。 


468 六 部 分 后 万 





在 本 书 中 ,给 出 了 许多 最 近 的 研究 与 进展 ， 包 括 学 习 的 可 选择 模型 、 基 于 主体 和 分 布 式 的 间 
题 求解 、 体 现 智能 的 方法 ， 以 及 进化 计算 和 人 工 生命 等 方面 的 进展 。 这 些 理解 智能 的 方法 为 理性 
主义 的 简化 论 提出 了 很 必要 的 选择 。 智 能 的 生物 和 社会 模型 表明 人 类 智能 正 是 我 们 身体 和 感觉 
的 产物 ， 是 我 们 文化 和 社会 制度 的 产物 ， 是 我 们 创造 和 享受 艺术 的 产物 ， 是 我 们 听 到 的 和 传递 的 
历史 的 产物 。 建 立 多 种 方法 来 构建 对 这 些 复 杂 过 程 的 计算 机 模拟 ， 比 如 模拟 在 人 脑 中 神经 模式 
的 进化 和 适应 过 程 ， 最 近 的 这 些 方 法 为 人 工 智能 提供 了 很 多 新 的 强 有 力 的 工具 集 ， 弥 补 了 传统 
的 技术 。 

正如 计算 机 科学 中 的 其 他 分 支 一 样 ， 人 工 智能 还 是 一 个 年 轻 的 领域 。 当 物理 学 和 生物 学 能 
在 几 个 世纪 中 来 检测 其 进展 时 ， 现 代 计 算 还 只 有 几 十 年 的 历史 。 在 第 16 章 中 ， 我 们 将 把 人 工 智 
能 不 同方 面 的 成 果 整 合 到 一 种 统一 的 智能 系统 的 科学 中 来 。 我 们 指出 ， 科 学 和 工程 、 哲 学 以 及 我 
们 自己 的 审美 价值 观 将 引导 我 们 不 断 地 创建 新 的 人 工 制 品 和 实验 ， 如 果 使 用 得 当 ， 它 将 能 引出 
关于 更 通用 的 智能 系统 科学 的 一 些 见解 。 这 一 章 将 继续 第 1 章 中 进行 的 讨论 ， 建 立 一 种 人 工 智能 
的 认 知 基础 ， 与 其 说 是 回答 对 它 的 批判 (实际 上 ， 还 有 很 多 挑战 等 待 着 去 解答 ) ， 不 如 说 是 采用 
积极 肯定 的 态度 ， 去 探索 和 照 亮 前 进 的 道路 。 


第 16 章 人 工 智 能 是 经 验 式 的 学 科 


计算 机 科学 是 一 门 经 验 式 的 学 科 。 我 们 也 可 以 把 它 称 为 是 实验 性 科学 ， 但 像 天 文学 、 经 济 
学 、 地 质 学 等 学 科 一 样 ， 其 一 些 独特 的 观察 和 经 历 形 式 并 不 一 定 适 合 那些 老 一 套 的 实验 方法 。 尽 
管 如 此 ， 它 仍然 是 实验 性 的 。 构 造 出 的 每 一 台 机 器 都 是 一 个 实验 。 事实 上 构造 这 台 机 器 提出 了 一 
个 问题 ; 同时 我 们 通过 观察 机 器 的 运行 并 使 用 各 种 可 用 的 分 析 和 测试 方法 来 获取 机 器 返回 的 答 
案 。 编 写 的 每 一 个 新 程序 都 是 一 个 实验 。 编 写 新 程序 一 方面 提出 了 一 个 问题 ， 同 时 其 行为 也 为 答 
案 提 供 了 线索 。 我 们 设计 的 机 器 和 程序 ， 分 别 作为 硬件 和 软件 ， 它们 不 是 黑匣子 ， 它 们 都 是 由 人 
造 出 来 的 ， 而 且 我 们 可 以 打开 它们 ， 观 察 它们 内 部 的 东西 。 我 们 可 以 把 它们 的 结构 与 行为 联系 在 
一 起 ， 并 从 一 个 简单 的 实验 中 获得 很 多 经 验 和 教训 。 

一 一 A. 纽 维尔 和 H. A. 西蒙 ，ACM 图 灵 奖 演说 ，1976 


我 们 对 思考 机 器 的 研究 比 通过 自省 的 方法 来 了 解 我 们 自己 的 大 脑 ， 会 教 给 我 们 更 多 有 关 人 
脑 的 知识 。 西 方 人 正在 以 机 械 装 置 的 形式 来 表现 自己 。 
一 一 威廉 S. 伯 勒 斯 ,《 裸 体 午 餐 》 


我 们 在 信息 中 遗失 的 知识 到 哪 去 了 ? 
一 一 人 4. 艾 略 特 ， 合 喝 剧 《岩石 》 


16.0 简介 


对 许多 人 来 说 ， 人 工 智 能 研究 中 最 使 人 惊讶 的 成 果 是 证 明 人 工 智能 以 及 实际 上 计算 机 科学 
的 许多 分 支 都 是 一 门 经 验 式 的 学 科 。 这 确实 让 人 惊讶 ， 因 为 绝 大 多 数 人 最 开始 都 认为 这 些 领域 
是 建立 在 他 们 的 数学 或 者 工程 学 基础 上 的 。 从 数学 的 角度 来 看 ， 有 时 称 之 为 “优雅 ”(neat) 的 
观点 ， 理性 主义 者 希望 把 证 明和 分 析 的 标准 转换 为 智能 计算 设备 的 设计 。 而 从 工程 的 角度 来 看 ， 
有 时 又 称 之 为 “ 粗 陋 ”(scmffy) 的 观点 ， 这 种 任务 通常 被 看 作 是 简单 地 制造 出 那些 被 人 们 称 为 
“智能 ”的 成 功 的 人 工 制品 。 不 幸 的 或 幸运 的 是 (这 依赖 于 你 的 哲学 观 ) ， 不 管 是 从 纯 数学 角度 
还 是 纯 工程 角度 来 说 ， 智 能 软件 的 复杂 性 和 在 人 机 交互 活动 中 与 生 俱 来 的 不 确定 性 都 阻挠 了 我 
们 的 分 析 。 

此 外 ， 如 果 人 工 智 能 想 达 到 科学 的 水 平 并 成 为 智能 系统 科学 的 关键 组 成 部 分 ， 那 么 就 必须 
在 它 制 造 的 人 工 制品 的 设计 、 执 行 和 分 析 中 包含 分 析 和 经 验 式 的 方法 。 从 这 种 观点 来 看 ， 每 个 人 
工 智 能 程序 都 可 以 看 作 是 一 个 实验 : 它 向 现实 世界 提出 问题 ， 而 答案 就 是 现实 世界 对 此 做 出 的 
响应 。 现 实 世界 对 我 们 的 设计 做 出 的 响应 和 程序 式 的 承诺 构成 了 我 们 对 于 智能 的 形式 方法 、 机 
理 以 及 智能 本 质 的 理解 (Newell and Simon 1976 ) 。 

与 许多 较为 传统 的 人 类 认 知 研究 不 同 ， 我 们 作为 智能 计算 机 这 种 人 工 制 品 的 设计 者 ， 能 检 
查 到 我 们 的 “主题 ”的 内 部 运行 。 我 们 还 能 在 以 后 停止 程序 的 执行 ， 检 查 内 部 的 状态 ， 或 者 修 
改 程序 的 结构 。 正 如 纽 维 尔 和 西蒙 (1976) 指出 的 ,计算 机 及 其 程序 的 结构 表明 了 它们 潜在 的 
行为 : 它们 可 以 被 检查 ， 且 它们 的 表示 和 搜索 算法 能 够 被 理解 。 计 算 机 作为 能 够 理解 智能 的 有 力 
工具 ， 它 是 这 种 二 元 性 的 产物 。 经 过 适当 编程 的 计算 机 能 够 同时 达到 语义 和 行为 的 复杂 性 的 水 
平 ， 它 们 一 方面 需要 用 心理 学 术语 来 刻画 其 特征 ， 另 一 方面 能 够 为 其 内 部 状态 的 检查 提供 机 会 ， 
而 这 种 检查 在 很 大 程度 上 被 研究 其 他 智能 生命 形式 的 科学 家 们 所 否定 。 
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幸好 ， 对 于 人 工 智能 的 后 续 研 究 ， 以 及 对 于 建立 一 门 智能 系统 的 科学 ， 更 多 现代 心理 学 技 
术 ， 尤 其 是 跟 神 经 心理 学 相关 的 技术 ,已 经 促使 我 们 在 人 类 智能 的 许多 研究 方面 获得 了 进展 与 
成 功 。 例 如 ， 我 们 现在 知道 ， 人 的 智能 不 是 单一 的 也 不 是 始终 不 变 的 ， 它 更 像 是 模块 化 的 和 分 布 
式 的 。 它 的 能 力 可 以 从 感知 器 官 〈( 比 如 和 人 的 视网膜 ) 中 看 到 ， 它 可 以 检测 并 预 处 理 视觉 信息 。 
同样 地 ， 人 类 学 习 也 不 是 始终 不 变 的 、 相 似 的 。 而 学 习 是 对 多 种 环境 和 不 同系 统 所 具有 的 一 种 功 
能 ， 每 种 学 习 适 于 达到 特定 的 目的 。fMRI 分 析 以 及 PET 扫描 和 相关 的 神经 物理 成 像 过 程 ， 都 支 
持 实 际 智能 系统 内 部 工作 中 的 多 样 的 和 协作 的 图 像 。 

如 果 人 工 智能 的 工作 想 要 达到 科学 的 水 平 ， 我 们 还 必须 处 理 一 些 重要 的 哲学 问题 ， 尤 其 是 
那些 与 认识 论 相关 的 问题 ,或 是 智能 系统 是 怎样 “知道 ” 它 的 世界 的 问题 。 这 些 论 点 涉及 人 工 
智能 研究 的 对 象 是 什么 ， 以 及 更 深层 的 问题 ， 如 物理 符号 系统 假设 的 有 效 性 和 实用 性 中 存在 的 
问题 。 还 包括 更 多 的 问题 ,如 人 工 智能 的 符号 系统 方法 中 “符号 ”到 底 是 什么 ， 在 连接 模型 中 
符号 是 如 何 关 联 到 多 组 带 权 重 的 结 点 。 我 们 还 讨论 在 大 多 数学 习 器 中 能 看 到 的 归纳 偏 置 所 表现 
出 的 理性 的 作用 ， 并 与 在 无 监督 学 习 、 强 化 学 习 和 涌现 学 习 的 学 习 方 法 中 经 常 能 看 到 的 松散 的 
无 结构 特征 相 比较 。 最 后 ， 我 们 还 必须 讨论 问题 求解 中 具体 设施 、 状 态 以 及 社会 倾向 的 作用 。 我 
们 提出 了 一 种 构造 主义 的 认识 论 来 归纳 我 们 在 哲学 问题 上 的 讨论 ， 这 种 构造 认识 论 很 适合 于 我 
们 将 人 工 智能 既 作 为 一 门 科学 又 作为 一 门 按 经 验 进行 查询 的 学 科 的 承诺 。 

因此 在 这 最 后 一 章 中 ,我 们 又 回 到 第 1 章 中 提出 的 问题 : 智能 是 什么 ? 它 能 够 被 形式 化 吗 ? 
我 们 如 何 才 能 建立 一 种 展现 它 的 机 制 ? 人 工 智能 和 人 类 智能 如 何 能 够 融入 到 智能 系统 科学 的 更 
大 背景 中 。 在 16. 1 节 中 ， 我们 从 修订 后 的 人 工 智能 的 定义 开始 ， 它 表明 了 人 工 智能 现在 的 研究 
工作 是 如 何 扩展 其 工具 、 技 术 ， 并 在 更 为 广阔 的 环境 中 探索 的 , 但 是 它 仍然 源 自 于 纽 维 尔 和 西蒙 
的 物理 符号 系统 假设 。 我 们 探究 解决 这 些 智 能 问题 的 不 同方 法 ， 并 考虑 它们 在 智能 机 器 设计 方 
面 以 及 作为 智能 系统 科学 的 部 件 的 能 力 。 在 16. 2 节 中 ， 我 们 指出 有 多 少 现代 的 认 知 心理 学 、 神 
经 科学 和 认识 论 的 方法 可 以 用 来 增强 人 们 对 人 工 智能 事业 的 理解 。 

最 后 ， 在 16.3 节 中 ， 讨 论 了 现代 人 工 智能 研究 者 和 认识 论 学 者 所 面临 的 挑战 。 虽 然 传统 的 
人 工 智能 方法 有 理性 简化 论 的 嫌疑 ， 而 跨 学 科 的 新 见解 和 新 工具 也 有 不 足 。 例 如 ， 遗 传 算法 的 创 
建 者 和 人 工 生命 研究 的 设计 者 从 达尔 文 的 观点 给 智能 世界 下 了 定义 :“ 智 能 世界 就 是 生存 下 来 的 
世界 ”。 在 复杂 的 世界 中 ,知识 同样 被 看 作 是 “知道 怎么 样 ”"， 而 不 是 “知道 什么 ”。 对 于 科学 家 
来 说 ,答案 是 需要 解释 的 ,“ 成 功 ” 或 者 “生存 ”并 不 充分 。 

在 这 最 后 的 一 章 中 ， 将 通过 探索 建立 一 个 智能 的 计算 科学 所 必须 解决 的 哲学 问题 来 讨论 人 
工 智能 的 未 来 发 展 。 得 到 的 结论 是 ， 人 工 智 能 的 经 验 主 义 的 方法 学 是 一 个 重要 的 工具 ， 也 许 它 对 
于 探索 智能 的 本 质 来 说 是 最 好 的 工具 。 


16. 1 人工 智能 : 修订 的 定义 


16. 1.1 人 工 智能 和 物理 符号 系统 假设 
根据 我 们 在 前 15 章 中 的 经 验 ， 我 们 对 人 工 智能 给 出 一 个 经 过 修订 的 定义 : 
人 工 智 能 研究 的 是 智能 行为 中 的 机 制 ， 它 是 通过 构造 和 评估 那些 试图 采用 这 些 机 制 的 人 工 制 
品 来 进行 研究 的 。 
在 这 个 定义 中 ， 人 工 智能 不 像 是 关于 智能 机 制 的 理论 ， 而 更 像 是 一 种 经 验 主义 的 方法 学 , 它 
的 主要 任务 是 构造 和 测试 支持 这 种 理论 的 可 能 模型 。 它 是 一 种 对 实验 进行 设计 、 运 行 和 评估 的 
科学 方法 ， 其 目的 是 精练 模型 和 进行 更 深入 的 实验 。 然 而 ， 最 为 重要 的 是 ， 这 个 定义 像 人 工 智 能 
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本 身 这 个 领域 一 样 ， 直 接 反击 了 几 个 世纪 以 来 关于 智力 本 性 的 哲学 蒙昧 主义 。 对 于 那些 将 要 了 
解 什么 是 我 们 定义 的 人 的 特征 的 人 们 ， 这 个 定义 给 他 们 提供 另 一 种 选择 来 看 待 宗教 、 迷 信 、 笛 卡 
此 二 元 论 和 新 时 代 的 安慰 剂 ， 或 者 在 一 些 还 没有 发 现 的 量子 力学 的 巧合 中 寻找 智能 (Penrose 
1989)。 如 果 人 类 知识 中 的 很 大 一 部 分 来 自 于 支持 人 工 智能 的 科学 ， 那么 智能 就 不 再 是 神秘 不 可 
触及 的 ， 而 是 那些 在 智能 机 器 的 设计 中 能 够 被 理解 和 应 用 的 一 组 规则 和 机 制 的 结果 。 这 里 必须 
指出 的 是 ， 我 们 修订 后 的 定义 并 没有 给 出 “智能 ”的 定义 ， 而 只 是 提出 了 人 工 智 能 在 探索 智能 
现象 的 本 质 和 表示 中 所 起 的 连贯 作用 。 

从 历史 的 角度 来 看 ， 人 工 智能 中 占 主 导 地 位 的 方法 包括 表示 形式 化 的 构造 以 及 它们 相关 联 
的 基于 搜索 的 推理 机 制 。 早 期 人 工 智能 方法 论 的 指导 原则 是 由 Newell 和 Simon (1976) 首先 提出 
的 物理 符号 系统 假设 。 这 个 假设 指出 : 


物理 系统 表现 一 般 智 能 行为 的 充 要 条 件 是 该 系统 是 一 个 物理 符号 系统 。 

充分 性 是 指 智 能 可 以 通过 任意 合理 组 织 的 物理 符号 系统 来 得 到 。 

必要 性 是 指 任何 用 来 表现 一 般 智 能 的 主体 都 必须 是 一 个 物理 符号 系统 的 一 个 实例 。 物 理 符号 
系统 假设 的 必要 性 要 求 任何 一 个 智能 主体 ， 不 管 它 是 人 、 外 星人 还 是 计算 机 ， 都 必须 通过 在 符号 
结构 上 操作 的 物理 实现 来 获得 智能 。 

一 般 智 能 行为 是 指 人 类 活动 中 可 以 看 到 的 相同 的 动作 和 行为 。 在 物理 范围 内 ， 系 统 将 表现 适 

合 于 其 各 个 终端 并 适应 于 其 所 在 环境 要 求 的 相应 行为 。 

纽 维尔 和 西蒙 对 这 种 假设 的 必要 性 和 充分 性 的 观点 进行 了 总 结 (Newell and Simon 1976， 
Newell 1981 ，Simon 1981)。 在 后 来 的 许多 年 中 ， 人 工 智 能 和 认 知 科学 都 在 这 个 假设 基础 上 进行 
了 大 量 的 研究 。 

物理 符号 系统 假设 导致 了 四 个 重要 的 方法 论 方面 的 约定 : (a) 用 符号 以 及 符号 系统 作为 描述 
世界 的 中 介 ;(b) 搜索 机 制 的 设计 ， 尤 其 是 启发 式 搜索 ， 用 来 探索 这 些 符 号 系统 能 够 支持 的 可 能 
推理 的 空间 ; (ce) 认 知 体系 结构 的 分 离 ， 这 里 我 们 的 意思 是 假定 一 个 合理 设计 的 符号 系统 能 够 提 
供 完整 的 智能 的 随意 说 明 ， 而 不 管 其 实现 的 中 介 是 什么 ;(d) 基于 这 样 的 观点 ， 最 后 人 工 智能 变 
成 为 经 验 式 和 构造 式 的 学 科 : 它 试图 通过 建立 智能 的 工作 模型 来 理解 智能 。 

从 符号 系统 的 角度 来 看 ， 语 言 中 的 记号 ， 被 称 为 符号 ， 是 用 来 表明 或 者 推 浙 出 除 其 本 身 之 外 
的 其 他 东西 。 像 自然 语言 中 的 语言 记号 一 样 ， 符 号 代表 或 者 指定 智能 主体 世界 中 的 事物 。 例 如 ， 
Tarski (1956， 见 2.3 节 ) 能 在 这 些 对 象 引用 关系 中 给 出 科学 含义 的 可 能 性 。 

此 外 ， 人 工 智能 中 符号 的 使 用 已 经 超出 了 Tarski 语义 中 表述 的 问题 ， 而 且 扩 展 到 了 表示 所 有 
形式 的 知识 、 技 能 、 意 图 和 因果 关系 。 所 有 这 些 构 造 的 结果 是 基于 这 样 的 事实 ， 即 符号 及 其 语义 
可 以 嵌入 到 形式 化 系统 中 。 这 就 定义 了 一 种 表示 语言 。 对 于 将 智能 建 模 为 一 个 运行 的 计算 机 程 
序 来 说 ， 这 种 对 符号 模型 进行 形式 化 的 能 力 是 非常 重要 的 。 我 们 已 经 详细 研究 了 多 种 表示 ， 包 括 
谓词 演算 、 语 义 网 、 脚 本 、 概 念 图 、 框 架 和 对 象 。 形 式 化 系统 中 的 数学 允许 我 们 讨论 这 些 问题 的 
可 靠 性 、 完 备 性 、 复 杂 人 性， 以 及 对 知识 结构 的 组 织 问题 进行 讨论 。 表 示 形 式 化 方面 的 进展 使 得 我 
们 能 够 建立 更 为 复杂 (也 更 为 丰富 的 ) 语义 关系 。 例 如 ， 继 承 系统 建立 了 一 套 生 物 分 类 知识 的 
语义 理论 。 通 过 对 类 的 继承 进行 形式 化 的 定义 ， 这 种 语言 简化 了 智能 程序 的 构造 ， 并 为 智能 本 身 
的 可 能 分 类 的 组 织 提供 了 可 测试 的 模型 。 

“搜索 ”这 个 概念 在 推理 中 将 表示 模式 及 其 应 用 紧密 地 捆绑 在 一 起 。 搜 索 是 在 问题 空间 框架 
《 先 验 的 语义 约定 ) 中 一 步 一 步 地 检测 问题 的 状态 ， 以 寻求 当前 问题 的 解决 方案 、 子 间 题 目标 、 
问题 的 对 称 性 或 者 问题 中 需要 考虑 的 其 他 方面 等 。 表 示 和 搜索 是 关联 在 一 起 的 ， 因 为 对 于 一 种 
特定 表示 的 约定 决定 了 搜索 的 空间 。 确 实 ， 如 果 选 择 很 差劲 的 表示 语言 来 对 问题 进行 表示 ， 则 一 
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些 问 题 可 以 变 得 很 困难 甚至 不 可 解 。 本 章 后 面部 分 关于 归纳 偏 置 的 讨论 将 举例 说 明 这 一 点 。 

关于 搜索 和 表示 之 间 的 相互 影响 问题 ， 以 及 选择 合适 的 表示 的 难度 问题 (优选 表示 法 的 过 
程 能 否 自动 化 ?) ， 一 个 很 生动 的 、 经 常 被 引用 的 例子 是 ， 把 骨牌 放 在 被 截 去 了 两 个 角 的 棋盘 上 。 
假定 我 们 有 一 个 棋盘 和 一 些 骨 牌 ， 每 个 骨牌 能 覆盖 棋盘 上 的 两 个 方 格 。 同时 假定 棋盘 被 去 掉 了 
一 些 方 格 ; 在 图 16-1 中 ,左上 角 和 右 下 角 的 方 格 被 去 掉 了 。 





16-1 缺 角 棋 盘 ， 且 一 个 骨牌 覆盖 棋盘 上 的 两 个 方 格 


缺 角 棋盘 问题 就 是 询问 是 否 有 一 种 方法 能 把 骨牌 放 在 棋盘 上 ， 使 得 棋盘 的 所 有 方 格 都 被 覆 
盖 ， 且 每 块 骨牌 恰好 盖 住 两 个 方 格 。 我 们 可 能 会 尝试 所 有 的 方法 来 把 骨牌 放 在 棋盘 上 ; 这 显然 是 
一 种 基于 搜索 的 方法 ， 是 把 棋盘 表示 为 一 个 简单 的 矩阵 的 自然 结果 ， 而 忽略 了 那些 似乎 不 相关 
的 像 方 格 的 颜色 这 样 的 特征 。 这 种 搜索 方法 的 复杂 度 是 巨大 的 ， 并 且 需 要 启发 式 才 可 能 得 到 有 
效 的 解答 。 例 如 ， 我 们 可 以 对 部 分 解决 方案 进行 剪 枝 ， 得 到 相互 分 离 的 单独 的 方 格 。 我 们 也 可 以 
从 小 棋盘 出 发 来 解决 这 个 问题 ， 比 如 2 x2 和 3 x3 的 棋盘 ， 然 后 把 这 个 解答 扩展 到 8 x8 的 情形 。 

基于 更 复杂 的 表示 模式 ， 一 种 更 为 巧妙 的 解决 方法 是 利用 每 个 骨牌 在 放置 时 必定 同时 覆盖 
一 个 黑色 方 格 和 一 个 白色 方 格 这 个 现象 。 而 这 个 缺 角 棋盘 共有 32 个 黑色 方 格 和 30 个 白色 方 格 ， 
因此 想 用 骨牌 把 所 有 的 方 格 覆盖 住 是 不 可 能 的 。 这 就 给 纯粹 基于 符号 的 推理 者 提出 一 个 很 严肃 
的 问题 : 我 们 是 否 有 这 种 允许 问题 解答 者 使 用 灵活 的 有 创造 性 的 方法 来 访问 知识 库 的 表示 ? 当 
已 经 从 一 个 问题 领域 中 学 习 到 很 多 东西 之 后 ， 特 定 的 表示 如 何 能 自动 修改 其 结构 ? 

在 基于 符号 的 人 工 智能 中 ， 启 发 式 是 表示 和 搜索 之 后 的 第 三 个 组 件 。 启 发 式 是 一 种 对 由 特 
定 表示 所 提供 的 选择 中 的 搜索 进行 组 织 的 机 制 。 设 计 启 发 式 的 目的 是 克服 穷 举 搜索 所 具有 的 复 
杂 性 ， 因 为 它 是 多 种 有 趣 问题 寻找 有 用 解决 方法 的 障碍 。 正 如 和 人 一样， 在 计算 中 智能 需要 对 
“下 一 步 做 什么 ”做 出 有 见识 的 选择 。 从 人 工 智能 研究 的 历史 来 看 ， 启 发 式 具有 多 种 形式 。 

最 早 的 问题 求解 技术 ， 如 Samuel 的 checker-playing 程序 中 的 爬山 问题 ( 见 4. 1 节 ) ， 纽 维尔 、 
肖 (shaw) 和 西蒙 的 通用 问题 求解 器 中 的 手段 - 目的 分 析 ( 见 13.1 节 ) ， 都 是 来 自 于 其 他 学 科 
(如 运筹 学 ) ， 它 们 逐渐 成 熟 ， 成 为 人 工 智能 问题 求解 中 的 一 般 技 术 。 搜 索 的 属性 ， 包 括 可 采纳 
性 、 单 调 性 和 信息 度 ， 都 是 从 这 些 较 早 的 研究 中 形成 的 重要 结果 。 这 些 技术 通常 被 称 为 是 弱 方 
法 。 弱 方法 是 一 般 的 搜索 策略 ， 广 泛 地 用 在 所 有 类 型 的 问题 领域 中 ( Newell and Simon 1972 ， 
Emst and Newell 1969 ) 。 这 些 方法 及 其 属性 的 具体 内 容 参 见 第 2、3、4、6 和 14 章 。 

在 第 8、9、10 章 中 引入 的 基于 规则 的 专家 系统 、 基 于 模型 和 基于 案例 的 推理 、 基 于 符号 的 
学 习 等 方法 称 为 人 工 智能 中 的 强 方 法 。 和 弱 问 题 求解 器 形成 对 比 ， 强 方法 侧重 于 每 个 问题 领域 
的 特定 信息 ， 比 如 内 科 医 学 或 者 积分 计算 ， 而 不 是 侧重 于 对 问题 领域 进行 归纳 概括 的 启发 式 方 
法 的 设计 。 强 方法 是 专家 系统 和 其 他 知识 密集 型 问题 求解 方法 的 基础 ， 它 强调 的 是 问题 求解 所 
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需 的 知识 量 、 学 习 和 知识 获 了 到、 知识 的 语法 表示 、 不 确定 性 的 管理 以 及 与 知识 质量 相关 的 问 
题 等 。 


为 什么 我 们 还 没有 建立 许多 真正 的 基于 符号 的 智能 系统 

现在 有 许多 关于 物理 符号 系统 智能 特征 的 批评 ， 大 多 数 批评 是 瞄准 智能 主体 的 符号 的 语义 
信义 和 语义 基础 问题 。 当 然 ,“ 含 义 ” 的 本 质 也 将 影响 智能 的 思想 ， 如 在 预先 定义 好 含义 的 符号 
结构 中 搜索 以 及 启发 式 的 使 用 中 隐 含 的 “效用 ” 。 在 传统 的 人 工 智能 中 含义 的 概念 充其量 是 很 弱 
的 。 不 过 ， 向 一 种 更 基于 数学 的 语义 (例如 Tarski 的 可 能 世界 方法 ) 发 展 的 试探 似乎 是 一 个 错 
误 的 方向 。 它 增强 了 理性 主义 者 的 特点 ， 即 用 一 个 完全 可 以 达到 的 清晰 的 和 独特 观念 的 世界 取 
代 具 体 主体 灵活 的 和 演化 的 智能 。 

含义 的 基础 这 个 问题 ， 一 直 同 时 阻挠 着 人 工 智 能 和 认 知 科学 事业 的 支持 者 和 批评 者 。 这 个 
基础 的 问题 是 问 符号 怎样 才能 具有 含义 。 约 翰 . 希 尔 (Searle，1980) 提出 了 他 著名 的 “中 文 屋 
(Chinese Room) 实验 ”， 对 此 进行 了 立论 。 他 将 自己 关 在 一 个 房间 中 并 打算 把 中 文 语句 翻译 为 英 
文 ; 他 在 屋内 收 到 各 种 写 有 中 文 语句 的 纸 条 要 他 回答 ， 然 后 他 查阅 各 种 工具 书 ( 汉 英 字典 及 相 
关 专业 书 ) ， 并 找到 令 人 满意 的 英文 答题 传 给 屋外 等 待 的 人 。 希 尔 说 ， 尽 管 他 知道 自己 一 点 儿 都 
不 懂 中 文 ， 但 是 屋外 人 依然 可 以 根据 他 的 回答 判断 他 是 一 个 懂 中 文 的 人 ， 所 以 他 的 “系统 ”也 
可 以 看 作 是 一 个 汉 译 英 的 机 器 。 

这 里 有 个 问题 是 ， 尽 管 任何 从 事 机 器 翻译 或 者 自然 语言 理解 ( 见 第 15 章 ) 的 研究 者 都 可 能 
会 争辩 说 ，Searle 的 “翻译 机 器 ”盲目 地 把 一 个 符号 集 链接 到 另外 一 个 符号 集 ， 可 能 会 生成 最 差 
的 结果 ， 事 实 是 现在 这 一 代 的 智能 系统 只 有 非常 有 限 的 能 力 来 有 针对 性 地 翻译 这 些 符 号 集 。 在 
现在 的 基于 感官 形态 的 计算 中 ,不管 是 视觉 的 、 肌 肉 运 动 知觉 的 还 是 口头 的 ， 支 撑 语 义 太 弱 这 个 
问题 是 普遍 存在 的 。 

在 人 类 语言 理解 这 个 领域 中 ，Lakoff 和 Johnson (1999) 指出 ,创造 、 使 用 、 交 流 和 解释 有 
意义 符号 等 方面 的 能 力 是 来 自 于 人 在 进化 的 社会 环境 中 的 体验 。 这 个 环境 是 物理 的 、 社 会 的 、 时 
实 的 ; 它 支持 和 人 允许 人 类 生存 、 进 化 和 繁殖 的 能 力 。 它 尽 可 能 制造 了 一 个 类 比 推理 的 世界 ， 在 这 
个 世界 中 人 们 可 以 利用 和 鉴赏 央 默 ， 可 以 体会 和 欣赏 音乐 与 艺术 。 而 我 们 现在 的 人 工 智 能 工具 
和 技术 离 能 够 编码 和 利用 任意 等 价 的 “有 意义 ”系统 这 个 目标 还 有 很 大 的 距离 。 

作为 这 种 弱 语义 编码 的 直接 结果 ,传统 人 工 智能 的 方法 论 主要 对 那些 预先 解释 好 的 状态 和 
状态 环境 进行 探索 。 这 就 是 说 ， 一 个 人 工 智 能 程序 设计 者 把 语义 含义 的 上 下 文 归于 或 者 放 在 程 
序 的 符号 中 。 这 种 预先 解释 编码 的 一 个 直接 结果 就 是 ， 包 括 学 习 和 语言 等 这 样 的 智能 性 高 的 任 
务 只 能 产生 一 些 已 经 计算 好 的 那些 解释 的 功能 。 因 此 ,许多 人 工 智能 系统 在 探索 它们 所 在 的 环 
境 时 ， 它 们 只 有 很 有 限 的 能 力 来 演化 新 的 含义 联想 (Luger et al. 2002) 。 

最 后 ， 作 为 我 们 当前 有 限 语义 建 模 能 力 的 直接 结果 ， 我 们 能 够 使 用 预先 解释 好 的 符号 系统 
从 一 个 丰富 具体 的 社会 环境 中 抽取 并 同时 抓 住 问题 求解 的 主要 部 分 ， 这 些 应 用 是 我 们 最 为 成 功 
的 努力 结果 。 在 本 书 中 我 们 已 经 讨论 许多 这 些 方 面 的 问题 。 然 而 ， 这 些 领域 仍然 很 脆弱 ， 没 有 多 
样 的 解释 ， 而 上 只 有 很 有 限 的 能 力 来 从 失败 中 自动 恢复 。 

从 人 工 智能 的 历史 中 我 们 能 够 看 出 ， 人 工 智 能 的 研究 团体 已 经 探索 出 了 物理 符号 系统 假设 
的 一 些 分 支 ， 并 已 经 开始 向 先前 占 主导 地 位 的 观点 发 起 挑战 。 正 如 本 书 的 后 面 一 些 章 节 说 明 的 ， 
明确 的 符号 系统 和 搜索 并 不 是 惟一 可 能 的 捕获 智能 的 表示 工具 。 基 于 动物 大 脑 构架 和 基于 生物 
进化 过 程 的 计算 模型 同样 也 通过 科学 上 可 知 、 实 验 上 可 再 现 的 过 程 来 提供 理解 智能 的 可 能 框架 。 
本 节 的 余下 部 分 将 探讨 这 些 方法 的 分 支 问题 。 
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16. 1.2 连接 或 者 “神经 ”计算 


除 物理 符号 系统 假设 以 外 ， 另 外 一 个 重要 的 选择 是 深入 研究 神经 网 络 和 其 他 从 生物 得 到 灵 
感 的 计算 模型 。 例 如 ， 神 经 网 络 是 可 计算 的 ， 是 认 知 的 物理 实例 模型 ， 它 并 不 完全 依赖 于 对 明确 
推理 和 描述 世界 特征 的 符号 进行 预 解释 。 因 为 神经 网 络 中 的 知识 是 分 布 在 网 络 结构 中 的 ， 很 难 
(即使 不 是 没有 可 能 ) 将 个 体 概念 划分 到 网 络 的 特定 结 点 和 权重 。 实 际 上 ， 网 络 的 每 一 部 分 都 可 
能 是 表达 不 同 概念 的 一 个 部 件 ， 因 此 ， 至 少 对 于 物理 符号 系统 假设 的 必要 子 句 来 说 ， 神 经 网 络 是 
很 明显 的 一 个 反例 。 

神经 网 络 和 遗传 体系 结构 将 人 工 智能 的 重点 从 符号 表示 和 可 靠 的 推理 策略 的 问题 转移 到 学 
了 习 和 适应 的 问题 。 同 人 和 其 他 动物 一 样 ， 神 经 网 络 是 适应 世界 的 一 种 机 制 : 经 过 训练 的 神经 网 络 
结构 是 通过 学 习 而 形成 的 ， 就 像 通 过 设计 而 形成 一 样 。 神 经 网 络 的 智能 并 不 要 求 世界 被 重 构 为 
一 种 明确 的 符号 模型 。 相 反 ， 网 络 是 通过 与 世界 的 交互 形成 的 ， 通 过 经 验 的 不 明确 的 痕迹 反映 出 
来 。 神 经 网 络 这 种 途径 对 我 们 理解 智能 起 了 极 大 的 作用 ， 给 了 我 们 一 个 在 智力 过 程 的 物理 具体 
化 中 可 以 接受 的 机 制 模型 ， 一 个 更 可 行 的 学 习 和 发 展 的 理由 ， 一 个 简单 能 力 的 示范 ， 为 反映 实际 
现象 而 对 复杂 系统 所 做 的 局 部 修改 ， 以 及 一 个 针对 认 知 神经 科学 的 强 有 力 的 工具 。 

正 是 因为 神经 网 络 是 很 不 一 样 的 ， 所 以 它们 能 回答 许多 基于 符号 的 人 工 智能 所 不 能 解答 的 
问题 ， 其 中 包括 感知 问题 。 现 实 世界 并 不 能 很 恰当 地 把 我 们 的 感知 传递 给 严格 的 谓词 演算 表达 
式 ， 而 神经 网 络 则 提供 了 一 种 很 好 的 模型 ， 使 用 这 种 模型 我 们 可 以 在 混沌 的 感觉 刺激 中 识别 出 
“有 意义 的 ”模式 。 

由 于 神经 网 络 是 分 布 式 表示 的 ， 因 此 它们 比 那些 明确 的 符号 系统 更 为 健壮 。 一 个 经 过 适当 
训练 的 神经 网 络 能 够 有 效 地 识别 出 新 的 实例 ， 具 有 像 人 一 样 的 相似 性 感知 能 力 ， 而 不 需要 严格 
的 逻辑 判断 。 同 样 地 ， 部 分 神经 元 的 丢失 并 不 会 严重 地 影响 这 个 神经 网 络 的 性 能 ， 这 是 因为 在 网 
络 模型 中 有 大 量 固有 的 宛 余 。 

或 许 这 种 连接 网 络 最 让 人 惊讶 的 特征 是 ， 它 具有 学 习 能 力 。 神 经 网 络 不 像 符 号 系统 一 样 试 
图 建立 一 个 现实 世界 的 信息 符号 模型 ， 神 经 网 络 依赖 于 它们 自己 结构 的 可 塑性 可 以 学 习 经 验 。 
它们 并 不 构建 世界 的 模型 ， 而 是 在 世界 中 不 断 地 形成 其 经 验 。 学 习 是 智能 最 为 重要 的 方面 。 在 神 
经 计算 的 工作 中 提出 的 最 难 解 决 的 问题 也 是 学 习 问题 。 


为 什么 我 们 还 没有 建立 一 个 大 脑 

实际 上 ， 目 前 这 一 代 工 程 连 接 系统 与 人 类 神经 系统 的 相似 之 处 非常 少 ! 因为 神经 系统 的 可 
行 性 是 一 个 关键 的 问题 ， 所 以 我 们 从 这 一 问题 开始 讨论 ， 然 后 进一步 考虑 发 展 和 学 习 。 最 近 的 认 
知 神经 科学 方面 的 研究 (Squire dnd Kosslyn 1998 ，GCazzaniga 2000，Hugdahl and Davidson 2003) 
给 我 们 对 人 类 认 知 体系 结构 的 理解 带 来 了 新 的 见识 。 在 本 节 中 ， 将 简单 地 给 出 一 些 发 现 和 关于 
它们 是 如 何 与 人 工 智能 相关 联 的 评注 。 我 们 将 考虑 三 个 层次 的 问题 ， 首 先是 神经 元 层次 的 问题 ， 
其 次 是 神经 元 体系 结构 层次 的 问题 ， 最 后 我 们 讨论 认 知 表示 或 者 编码 问题 。 

首先 ， 在 单独 的 神经 元 个 体 这 个 层次 上 ，Shephard (1998) 和 Carlson (1994) 识别 出 了 细胞 
的 多 种 不 同类 型 的 神经 元 体系 结构 ， 每 种 类 型 的 神经 元 由 于 其 在 这 个 系统 中 的 功能 和 作用 不 同 
而 不 同 。 它 们 包括 感觉 接收 细胞 〈sensory receptor cell) ， 主 要 在 皮肤 部 分 ， 用 来 将 输入 信息 传递 
给 其 他 细胞 结构 ， 内 部 神经 元 的 主要 任务 就 是 在 内 部 细胞 群 中 进行 通信 ， 主 要 神经 元 的 任务 也 
是 在 细胞 群 之 间 进 行 通信 ， 而 运动 神经 元 则 主要 负责 系统 输出 。 

神经 活动 是 与 电 有 关 的 ， 离子 在 神经 元 中 流入 和 流出 的 模式 决定 了 一 个 神经 元 是 处 于 活动 
状态 还 是 休息 状态 。 一 个 典型 的 处 于 休息 状态 的 神经 元 其 电压 约 为 -70mV。 但 一 个 神经 细胞 处 
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于 活动 状态 时 ， 不 同 的 化 学 物质 将 在 神经 的 轴 突 端 释放 出 来 。 这 些 化 学 物质 称 为 是 神经 传导 物 
质 ， 它 影响 了 突 触 后 细胞 膜 ， 典型 地 适合 于 特定 的 接收 器 ， 就 像 一 把 钥匙 插入 一 把 锁 一 样 ， 并 初 
始 化 更 多 的 离子 流 。 当 离子 流 达 到 一 个 特定 的 临界 水 平 大约 -50mV)， 就 产生 一 个 动作 电位 ， 
一 种 “全 或 无 ”型 的 触发 机 制 表 明 这 个 神经 细胞 已 经 触发 。 因 此 神经 元 开始 通过 二 元 编码 序列 
进行 通信 。 . 

由 动作 电位 改变 而 形成 的 突 触 后 电位 有 两 种 类 型 :抑制 性 突 触 后 电位 和 兴 春 性 突 触 后 电位 ， 
抑制 性 突 触 后 电位 主要 出 现在 内 部 神经 元 结构 中 。 这 些 正 电 位 或 者 负电 位 将 通过 树 状 系统 的 突 
触 而 不 断 地 产生 。 当 所 有 这 些 事 件 的 网 络 效 应 是 把 相关 神经 元 的 膜 电位 从 -70mV 变 为 - 50mV 
时 ， 就 会 越过 阔 值 ， 大 量 的 离子 流 就 又 会 被 传授 到 这 些 神 经 细胞 轴 突 中 。 

其 次 ， 在 神经 元 体系 结构 层 ， 大 脑 皮层 大 约 有 10" 个 神经 元 ， 它 们 以 一 层 薄 片 的 形式 盘 绕 在 
大 脑 的 半球 上 。 许 多 皮层 是 福 皱 的 ， 以 增加 整个 表面 积 。 从 可 计算 性 的 观点 来 看， 我 们 不 仅 需 要 
知道 突 触 的 总 数 ， 也 必须 知道 户 人 和 扇 出 参数 。Shephard (1998) 估计 这 两 个 数字 大 约 都 在 105 
数量 级 。 

最 后 ， 除 了 神经 元 细胞 及 其 体系 结构 与 计算 机 系统 的 区 别 以 外 ， 这 里 还 有 一 个 更 深层 次 的 
认 知 表示 问题 。 我 们 对 于 大 脑 还 有 很 多 东西 不 清楚 ， 例 如 简单 的 记忆 是 如 何在 大 脑 皮层 中 编码 
的 ， 又 如 人 脸 是 怎样 识别 的 ， 一 个 识别 出 来 的 人 脸 又 如 何 能 够 与 高 兴 或 者 悲伤 的 感情 联系 在 一 
起 。 我 们 知道 了 大 量 的 人 脑 的 物理 和 化 学 特征 ， 但 却 不 知道 神经 系统 在 一 定 环境 中 是 如 何 编码 
和 使 用 “模式 ”的 。 

对 于 神经 系统 的 研究 者 和 计算 机 系统 的 研究 者 来 说 ， 有 一 个 需要 共同 面 对 的 难题 ， 即 先 验 
知识 在 学 习 中 到 底 有 什么 作用 。 在 没有 初始 的 知识 和 学 习 经 验 时 ， 从 空白 开始 能 够 进行 有 效 的 
学 习 吗 ? 或 者 说 一 定 要 从 一 些 先 验 的 归纳 偏 置 开 始 吗 ? 机 器 学 习 程序 方面 的 经 验 告诉 我 们 ， 在 复 
杂 的 环境 中 进行 学 习 时 ， 通 常 都 需要 一 些 先 验 知识 ， 这 些 先 验 知识 一 般 表 示 为 一 种 归纳 偏 置 。 

神经 网 络 从 一 定 的 训练 数据 中 收敛 到 有 意义 的 泛 化 的 这 种 能 力 ， 经 过 证 明 ， 对 于 人 工 神经 
元 的 数量 、 网 络 拓扑 以 及 使 用 的 具体 学 习 算 法 来 说 是 很 灵敏 的 。 此 外 ， 这 些 因素 还 能 形成 与 任意 
符号 化 表示 同样 强大 的 归纳 偏 置 。 人 类 发 展 方面 的 研究 支持 这 个 结论 。 还 有 更 多 的 证 据 也 证 明 
了 这 一 点 ， 例 如 ， 婴 儿 继 承 了 一 定 的 “ 硬 连 线 的 ” 认 知 偏 置 ， 他 们 能 对 语言 和 常识 性 物理 知识 
等 概念 领域 进行 学 习 。 在 神经 网 络 中 对 先天 偏 置 的 刻画 问题 是 一 个 很 活 唉 的 研究 领域 (Flman et 
al. 1996 ) 。 . 

如 果 考 虑 很 复杂 的 学 习 问 题 ， 那么 先 验 偏 置 方 面 的 问题 将 变 得 更 为 复杂 。 例 如 ， 假 定 我 们 正 
在 开发 一 个 科学 发 现 的 计算 模型 ， 并 想 对 哥 白 尼 将 地 心 说 转变 为 日 心 说 的 宇宙 观 进 行 模型 化 ， 
这 就 要 求 我 们 必须 将 哥 白 尼 和 托 勒 密 的 观点 用 计算 机 程序 表示 出 来 。 虽然 我 们 可 以 在 神经 网 络 
中 将 这 些 观 点 表示 为 激活 的 模式 ， 但 我 们 的 网 络 可 能 对 于 他 们 那些 视 为 理论 的 行为 一 无 所 知 。 
相反 ， 我 们 更 喜欢 做 出 如 下 的 解释 : “ 琳 白 尼 可 能 会 被 托 勒 密 学 说 的 复杂 性 所 困扰 ， 因 而 他 给 出 
了 一 个 简单 的 模型 ， 让 行星 围绕 着 太阳 转 ” 。 做 出 上 述 解释 也 需要 用 符号 来 表示 。 显 然 ， 神 经 网 
络 必 须要 能 支持 符号 推理 ; 毕竟 ， 人 本 身 就 是 一 个 神经 网 络 ， 他 们 在 处 理 符号 方面 至 少 还 算 不 
错 。 尽 管 如 此 ， 符 号 推理 的 神经 基础 仍然 是 一 个 重要 的 、 需 要 继续 研究 的 问题 。 

另外 一 个 问题 是 在 学 习 中 发 展 的 作用 。 小 孩 不 能 在 可 用 数据 的 基础 上 进行 学 习 ， 他 们 在 特 
定 领域 的 学 习 能 力 处 于 一 个 设 定好 的 发 展 阶段 (Karmiloff-Smith 1992 ) 。 一 个 有 趣 的 问题 是 ， 这 
种 发 展 的 进展 是 否 仅 仅 是 人 类 生物 及 其 具体 化 的 结果 ,或 者 说 ， 它 是 否 反 映 对 学 二 其 雇 鼻 不 恋 
性 的 智能 能 力 的 某 些 逻 辑 上 的 必要 限制 。 发 展 阶段 的 功能 是 否 起 到 了 一 种 机 制作 用 ， 这 种 机 制 
将 学 习 世 界 的 问题 分 解 为 更 易于 管理 的 子 问 题 ? 一 系列 人 为 强加 的 发 展 约束 是 否 能 够 提供 一 种 
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带 有 对 复杂 世界 进行 学 习 的 必要 框架 的 人 工 网 络 ? 

神经 网 络 在 实际 问题 中 的 应 用 提出 了 一 系列 其 他 的 研究 问题 。 神 经 网 络 的 许多 令 人 惊讶 的 
属性 ， 比 如 对 于 丢失 数据 或 者 模糊 数据 的 适应 性 和 健壮 性 ， 也 是 实际 应 用 中 需要 解决 的 问题 。 由 
于 神经 网 络 是 经 过 训练 的 ， 不 是 事先 编 好 程序 的 ， 因 此 其 行为 是 很 难 预料 的 。 对 于 一 个 给 定 的 问 
题 领 域 来 说 ， 很 难 指 导 人 们 如 何 去 设 计 相 应 的 神经 网 络 使 其 在 该 领域 能 正常 收 伍 。 最 后 ， 对 于 为 
什么 一 个 网 络 能 得 到 特定 结论 这 个 问题 ， 要 解释 起 来 是 很 困难 的 ， 通 常 只 能 以 统计 的 形式 来 给 
出 解释 。 这 些 就 是 当前 所 有 的 研究 领域 。 

这 时 有 人 可 能 会 问 ， 基 于 连接 的 网 络 和 符号 人 工 智能 作为 智能 模型 是 否 不 同 。 它 们 有 一 些 
重要 的 共性 ， 比 如 它们 都 认为 智能 最 终 要 被 编码 为 计算 ， 有 一 些 基础 的 形式 化 的 限制 ,例如 丘 
奇 /图 灵 (Church/Turing) 假设 (Luger 1994, 第 2 章 ) 。 两 种 方法 都 提供 了 由 实际 问题 应 用 所 形 
成 的 智力 模型 。 更 为 重要 的 是 ， 两 种 方法 都 拒绝 哲学 的 二 元 论 ， 而 都 认为 智能 的 基础 是 物理 实现 
设备 的 结构 和 功能 。 

我 们 相信 这 两 种 截然 不 同 探索 智能 的 方法 终究 会 达成 一 致 ， 融 为 一 体 。 当 它们 最 终 达 成 一 
致 时 ， 一 种 关于 符号 如 何 简化 为 网 络 中 的 模式 ， 以 及 如 何 修改 网 络 的 理论 将 成 为 特别 的 贡献 。 这 
将 会 导致 一 系列 的 发 展 ， 比 如 将 基于 网 络 的 感知 和 知识 密集 型 的 推理 整合 到 单一 的 智能 中 。 同 
时 ， 两 类 研究 团体 都 有 相当 多 的 工作 要 做 ， 它 们 没有 理由 不 共存 。 有 人 会 觉得 这 两 种 不 可 比较 的 
智能 模型 的 共存 很 不 合适 ， 其 实 这 根本 就 不 必 在 意 ， 大 家 可 以 看 到 ， 即 使 是 在 物理 领域 中 ， 也 有 
两 种 直觉 上 相互 矛盾 的 概念 存在 ， 比 如 光 的 波 粒 二 相 性 (Norton 1999 ) 。 


16. 1. 3 主体、 涌现 和 智能 


基于 主体 的 计算 和 认 知 模块 化 理论 的 出 现 为 人 工 智能 的 研究 者 们 提出 了 另外 一 些 有 趣 的 问 
题 。 认 知 科学 中 一 个 重要 的 学 派 认为 ， 智 能 是 被 组 织 成 一 些 特定 功能 单元 的 集合 (Minsky 1985 ， 
Fodor 1983 ) 。 这 些 模 块 是 专家 级 的 ， 它 们 使 用 一 定 范围 的 先天 结构 和 功能 来 说 明 它们 所 谓 应 用 
的 主体 必须 解决 的 那些 问题 的 多 样 性 ， 比 如 从 “ 硬 连 线 ” 问 题 求 解 到 归纳 偏 置 。 下 面 这 个 问题 
有 意义 : 如 何 才能 训练 一 个 单一 的 神经 网 络 来 具有 多 种 功能 ， 比 如 感知 、 运 动 神经 控制 、 记 忆 以 
及 高 级 推理 等 ? 智能 的 模块 化 理论 一 方面 为 解答 这 些 问题 提出 了 一 个 框架 ， 另 一 方面 也 为 继续 
对 先天 偏 置 在 个 体 模块 以 及 模块 交互 机 制 方面 的 本 质问 题 的 研究 指出 了 方向 。 

计算 的 遗传 和 涌现 模型 对 于 理解 人 和 人 工 智 能 提供 了 一 种 最 新 的 、 最 激动 人 心 的 方法 。 整 
体 智 能 行为 可 以 由 大 量 受 限 的 、 独 立 的 和 个 体 化 的 单一 主体 的 协作 而 形成 ， 通 过 论证 这 一 点 ， 遗 
传 和 涌现 理论 讨论 了 那些 通过 相对 简单 结构 的 内 部 关系 而 表达 出 来 的 复杂 智能 的 问题 。 

在 Holland (1995) 的 一 个 例子 中 ， 维 持 一 个 大 城市 《如 纽约 ) 的 面包 供应 的 机 制 说 明了 在 
一 个 基于 主体 的 系统 中 智能 现象 的 基本 过 程 。 这 并 不 是 说 我 们 能 够 拟定 出 一 个 集中 式 的 规划 程 
序 ， 来 成 功 地 完成 纽约 日 常 的 面包 供应 任务 。 无 论 如 何 ， 写 一 个 用 来 保证 纽约 日 常 面 包 供应 的 集 
中 规划 算法 有 很 多 实际 的 困难 ， 但 城市 中 由 许多 面包 师 、 运 输 商 、 原 材料 供应 商 以 及 零售 商 等 松 
散 合作 的 结果 却 能 很 好 地 解决 这 个 问题 。 正 如 在 所 有 基于 主体 的 涌现 系统 中 一 样 ， 这 里 没有 和 集 
中 式 的 规划 。 每 个 面包 师 很 少 有 关于 城市 对 面包 需求 的 知识 ， 每 个 面包 师 只 是 尽量 地 把 他 的 生 
意 做 好 。 整 个 问题 的 解决 方案 是 在 这 些 独立 和 局 部 的 主体 的 集体 行动 中 浮现 出 来 的 。 

通过 论证 有 目的 、 健 壮 的 、 优 化 的 行为 是 如 何 产生 自 局 部 单独 的 主体 交互 中 ， 这 些 模 型 还 为 
智力 的 起 源 这 个 古老 的 哲学 问题 给 出 另外 一 个 解答 。 智 能 的 这 种 清 现 方法 的 中 心思 想 是 ， 完 全 
的 智能 能 够 且 确 实 是 从 许多 简单 的 、 单 独 的 、 局 部 的 和 具体 化 的 主体 智能 的 交互 中 出 现 的 。 

涌现 模型 的 第 二 个 主要 特征 是 它们 依赖 于 达尔 文 的 自然 选择 机 制 ， 这 种 基本 机 制 形成 了 单 
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独 主体 的 行为 。 在 前 面 的 面包 师 例 子 中 ， 似 乎 每 个 面包 师 并 没有 按照 一 定 的 全 局 优化 的 方式 去 
行动 。 这 种 优化 的 来 源 并 不 是 集中 式 的 设计 ， 而 是 一 个 简单 的 事实 : 没有 做 好 工作 、 不 能 满足 客 
户 需 要 的 面包 师 通 常会 被 淘汰 。 它 是 通过 对 这 些 选 择 压力 的 永 不 疲劳 的 、 持 续 的 运作 ， 使 得 每 个 
面包 师 都 去 完成 相应 的 行为 ， 即 一 方面 使 得 他 们 能 够 生存 下 来 ， 另 一 方面 又 涌现 出 某 种 实用 的 
集体 行为 。 

分 布 式 的 、 基 于 主体 的 体系 结构 和 自然 选择 的 适应 性 压力 综合 在 一 起 ， 形 成 了 智力 的 起 源 
和 运作 的 最 强大 的 模型 。 进 化 心理 学 家 们 (Cosmides and Tooby 1992，1994; Barkow et al. 1992 ) 
已 经 给 出 了 一 种 方法 的 模型 ， 其 中 自然 选择 塑造 人 类 智力 的 先天 结构 和 偏 置 的 发 展 。 进 化 心理 
学 的 基础 是 把 智能 看 作 是 高 度 模块 化 (作为 一 种 交互 的 系统 ) 和 专业 化 的 主体 。 确 实 ， 进 化 心 
理学 方面 的 讨论 经 常 把 智能 与 瑞士 军刀 进行 比较 ， 因 为 瑞士 军刀 集中 了 多 种 用 来 解决 各 种 不 同 
问题 的 专门 工具 。 

越 来 越 多 的 证 据 表明 人 的 智能 确实 是 高 度 模块 化 的 。Fodor (1983 ) 为 智能 的 模块 化 结构 提 
供 了 哲学 依据 。Minsky (1985) 对 人 工 智 能 的 模块 化 理论 的 分 支 问题 进行 了 研究 。 这 种 体系 结构 
对 于 智能 的 进化 理论 是 很 重要 的 。 很 难 想 象 进化 是 怎样 形成 像 思想 一 样 复杂 的 单独 体系 。 然 而 ， 
千 百 万 年 的 进化 可 能 会 成 功 地 形成 单独 的 、 特 殊 的 认 知 技能 。 当 大 脑 在 不 断 地 进化 时 ， 它 同样 能 
够 继续 模块 的 结合 ， 以 形成 一 种 能 够 允许 模块 之 间 进 行 交 互 、 共 享 信息 、 协 同 执行 越 来 越 复 杂 的 
认 知 任务 的 机 制 (Mithen 1996 ) 。 

神经 选择 理论 (Edelman 1992) 表明 了 这 些 相 同 的 过 程 如 何 能 够 说 明 个 体 神经 系统 的 适应 
性 。 神 经 达尔 文 主义 使 用 达尔 文 的 术语 对 神经 系统 的 适应 性 进行 了 建 模 : 大 脑 中 特定 电路 的 强 
化 和 其 他 电路 的 弱化 是 对 世界 做 出 反映 的 一 种 选择 过 程 。 这 与 符号 学 习 方 法 不 同 ， 符 号 学 习 方 
法 试图 从 训练 数据 中 抽取 信息 并 使 用 这 些 信息 来 构建 世界 的 模型 ， 而 神经 选择 理论 则 对 神经 元 
及 其 交互 中 的 选择 电压 的 效果 进行 检验 。Edelman (1992) 指出 : 


考虑 到 脑 科 学 作为 一 种 认 知 科学 ， 我 的 意思 是 说 认 知 不 是 一 种 启发 过 程 。 没 有 直接 的 信息 传 
递 发 生 ， 正 如 在 进化 或 者 免疫 的 过 程 中 没有 任何 事情 发 生 一 样 。 相 反 ， 认 知 是 有 选择 性 的 。 


主体 技术 也 提供 了 社会 协作 的 模型 。 使 用 基于 主体 的 方法 ， 经 济 学 家 构建 了 市 场 经 济 的 信 
息 模 型 。 在 各 种 应 用 中 ， 主 体 技术 发 挥 着 越 来 越 大 的 作用 和 影响 ， 如 分 布 式 计算 系统 、 因 特 网 搜 
索 工具 的 构建 、 协 同 工 作 环境 的 实现 等 。 

最 后 ， 基 于 主体 的 模型 在 知觉 理论 方面 也 产生 了 巨大 的 影响 。 例 如 ，Daniel Dennett (1991， 
2006) 把 意识 的 功能 和 结构 归结 到 智能 的 主体 体系 结构 上 。 他 指出 ， 要 问 意识 位 于 智能 /大 脑 的 
什么 位 置 这 种 问题 是 不 正确 的 。 相 反 ， 他 的 意识 多 转移 理论 则 侧重 于 意识 在 分 布 式 智能 体系 结 
构 中 的 主体 间 交 互 中 所 起 的 作用 。 在 感知 、 运 动 神经 控制 、 问 题 求 解 、 学 习 和 其 他 智力 活动 的 过 
程 中 ， 我 们 形成 了 交互 主体 的 联合 。 这 种 联合 是 高 度 动态 的 ， 是 随 着 不 同情 形 的 需要 而 改变 的 。 
Dennett 认为 ， 意 识 是 这 些 联合 的 一 种 绑 定 机 制 ， 它 支持 主体 间 的 交互 ， 并 使 得 交互 主体 间 的 临 
界 联合 出 现在 认 知 过 程 的 最 显著 位 置 。 


哪些 问题 限制 了 基于 主体 的 智能 近似 

如 果 它 们 的 承诺 会 实现 的 话 ， 那 么 基于 主体 的 方法 和 目前 涌现 的 方法 则 可 以 解决 许多 问题 。 
例如 ， 我 们 现在 还 必须 补足 能 够 进化 高 级 认 知 能 力 〈 比如 语言 能 力 ) 的 所 有 步骤 。 正 如 古生物 
学 家 在 重 构 物 种 进化 这 方面 的 努力 一 样 ， 追 踪 这 些 高 级 问题 的 发 展 还 需要 大 量 额 外 的 、 更 加 细 
致 深入 的 工作 。 我 们 必须 同时 列举 作为 智能 结构 基础 的 主体 ， 并 追踪 它们 进化 的 过 程 。 

基于 主体 的 理论 的 另外 一 个 重要 问题 是 ， 如 何 解释 各 个 模块 之 间 的 交互 。 虽 然 智 能 的 “ 瑞 
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士 军刀 ”模型 是 一 种 有 用 的 构造 模型 ， 然而 组 成 智能 的 各 个 模块 并 不 像 瑞 士 军刀 中 的 各 种 工具 
那样 是 独立 的 。 智 能 表现 出 了 认 知 领域 之 间 广 泛 而 高 度 变化 的 交互 : 我 们 可 以 说 出 我 们 看 到 的 
东西 ， 这 表明 视觉 和 语言 模块 之 间 的 交互 。 我 们 可 以 构建 具有 一 定 社会 用 途 的 建筑 物 ， 这 表明 技 
术 和 社会 智能 之 间 的 交互 。 诗 人 能 构造 出 从 视觉 到 触觉 的 暗喻 ， 表 明了 视觉 和 触觉 模块 之 间 的 
一 种 互动 交互 。 定 义 一 种 能 够 允许 这 些 内 部 模块 之 间 交 互 的 表示 和 过 程 是 当前 一 个 很 活路 的 研 
究 方向 (Karmiloff-Smith 1992 ，Mithen 1996 ，Lakoff and Johnson 1999 ) 。 

基于 主体 技术 的 实际 应 用 也 变 得 越 来 越 重要 。 使 用 基于 主体 的 计算 机 模拟 ， 我 们 就 有 可 能 
对 那些 没有 固定 格式 数学 描述 的 复杂 系统 进行 建 模 ， 而 这 在 此 之 前 是 不 可 能 深入 研究 的 。 基 于 
模拟 的 技术 已 经 广泛 地 应 用 在 许多 现象 中 ， 比 如 人 的 免疫 系统 的 适应 性 调整 、 复杂 过 程 的 控制 
(包括 粒子 加 速 器 ) 、 全 球 货币 市 场 的 行为 、 天 气 系统 的 研究 等 。 实现 这 种 模拟 所 必须 解决 的 表 
示 和 计算 问题 不 断 地 驱动 着 知识 表示 、 算 法 、 甚 至 计算 机 硬件 设计 等 方面 的 研究 。 

主体 体系 结构 必须 解决 的 其 他 一 些 实际 问题 包括 主体 间 通 信 协 议 ， 特 别 是 当 本 地 主体 对 于 
问题 的 解决 通常 只 有 有 限 的 知识 ， 而 这 些 知识 是 其 他 主体 所 了 解 的 ， 或 者 这 些 问题 是 其 他 主体 
已 经 处 理 过 的 。 此 外 ， 现 在 很 少 有 将 大 型 问题 分 解 为 多 个 连贯 的 面向 主体 子 问题 的 算法 ,或 者 将 
有 效 的 资源 分 配给 多 个 主体 的 算法 。 这 些 问 题 以 及 其 他 与 主体 相关 的 问题 参见 7.4 节 中 的 讨论 。 

或 许 ， 关 于 智能 的 涌现 理论 中 最 令 人 振奋 的 特点 是 ， 它 具 有 把 智力 活动 从 混乱 状态 中 归 入 
到 一 种 按 涌 现 顺 序 建立 的 统一 模型 中 的 这 种 潜能 。 本 节 中 的 一 些 简 要 概述 已 经 引用 了 一 些 用 涌 
现 理 论 对 广泛 过 程 进行 建 模 的 工作 ， 这 些 过 程 包括 从 脑 的 进化 到 在 个 体 中 能 动 的 学 习 的 力量 ， 
再 到 行为 的 经 济 模型 和 社会 模型 的 建立 。 这 个 概念 还 有 某 种 格外 的 吸引 力 ， 由 达尔 文 进化 论 过 
程 形成 的 有 序 现象 的 相同 过 程 能 够 以 各 种 各 样 的 分 辨 方式 来 解释 智能 行为 ， 从 单个 神经 元 的 交 
互 到 脑 模块 化 结构 的 形成 ， 再 到 经 济 市 场 和 社会 系统 的 运行 。 当 相同 过 程 出 现在 我 们 看 待 整个 
系统 的 任意 一 种 分 辨 层次 时 ， 似乎 智能 具有 一 个 分 形 几 何 结构 。 


16. 1.4 ”概率 模型 和 随机 技术 


20 世纪 50 年 代 早期 ， 随 机 技术 用 来 解决 自然 语言 表达 的 理解 和 生成 问题 。Claude Shannon 
(1948) 将 概率 模型 应 用 于 自然 语言 处 理 中 ， 包 括 离散 马尔 可 夫 链 。Shannon (1951) 还 借鉴 了 
热力 学 中 凿 的 概念 作为 衡量 消息 中 信息 容量 的 方法 。 差 不 多 同一 时 间 ， 贝 尔 实验 室 创建 出 了 第 
一 个 统计 系统 ， 能 够 在 使 用 者 朗读 时 识别 出 0 到 9 十 个 数字 。 其 准确 度 在 97% ~99% (Davis et 
al. 1952, Jurafsky and Martin 2008 ) 。 

20 世纪 60 到 70 年 代 ， 在 人 工 智能 研究 活动 的 大 背景 下 ， 推 理 的 贝 叶 斯 方法 持续 发 展 。 目 
然 语 言 技 术 研究 了 许多 基于 符号 的 方法 ， 在 7.1 节 有 介绍 。 虽 然 许多 专家 系统 建立 了 自己 的 “ 确 
信 度 代数 ” ( 见 9.2.1 节 )， 如 MYCIN, 但 还 是 有 几 个 专家 系统 采用 了 由 叶 斯 方法 (Duda et 
al. 1979a) ， 如 PROSPECTOR。 然 而 ， 这 些 系 统 的 复杂 性 很 快 变 得 难以 处 理 。 正如 我 们 在 9.3 节 
中 指出 的 ， 对 实际 大 小 具有 200 疾病 和 2000 症状 的 医学 诊断 程序 来 说 ， 完 全 使 用 贝 叶 斯 规则 将 
需要 收集 和 综合 8 亿 条 信息 。 

20 世纪 80 年 代 后 期 ，Judea Peal (1988) 提出 了 一 个 计算 上 易于 处 理 的 模型 ， 解 决 在 问题 领 
域 中 因果 关系 的 上 下 文中 诊断 推理 的 问题 。 这 个 模型 就 是 贝 叶 斯 信念 网 络 。 贝 叶 斯 信念 网 络 放 
宽 了 完整 贝 叶 斯 模型 中 的 两 个 约束 。 第 一 ， 隐 含 的 “因果 关系 ”在 随机 推理 中 做 了 假定 ， 即 推 
理 是 从 原因 推出 结果 ， 并 且 没 有 环 ， 也 就 是 说 结果 不 能 又 推导 出 自身 的 原因 。 这 样 由 时 斯 信念 网 
络 就 可 以 表示 为 有 向 无 环 图 (3. 1 节 ，9.3 节 ) 。 第 二 ， 贝 叶 斯 信念 网 络 假定 结 点 的 直接 父 结 点 
支持 与 该 结 点 完整 的 因果 影响 。 所 有 其 他 结 点 都 假定 有 条 件 的 独立 或 者 因 影 响 太 小 而 忽略 。 
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Peal 的 研究 (1988，2000) 重新 引起 了 用 随机 方法 为 世界 建 模 的 兴趣 。 在 9.3 节 介绍 过 ， 贝 
叶 斯 信念 网 络 为 诊断 (推导 ) 推理 提供 了 一 个 非常 强 有 力 的 表达 工具 。 这 -点 对 具有 动态 特性 
的 人 类 和 随机 系统 确实 非常 特别 : 当世 界 随 时 间 变 化 时 ， 我 们 的 理解 会 不 断 丰 富 ， 生成 一 些 原 因 
来 解释 更 多 我 们 看 到 的 现象 ， 而 另 一 些 潜在 的 原因 则 对 解释 没有 用 了 。 对 随机 系统 设计 以 及 支 
持 它 们 的 推理 框架 的 研究 实际 上 还 处 于 起 步 阶段 。 

20 世纪 80 年 代 后 期 ， 在 自然 语言 处 理 问题 中 还 出 现 了 一 些 新 的 研究 动力 。 在 15.4 节 中 介绍 
了 这 些 随机 方法 ， 包 括 消除 语言 表达 式 歧 义 的 分 析 、 标 记 和 许多 其 他 新 技术 。 关 于 这 些 新 方法 的 
全 面 介绍 ， 可 以 阅读 关于 语音 识别 和 语言 处 理 任务 方面 的 书 (Manning and Schutz 1999 ， Jurafsky 
and Martin 2008 ) 。 

伴随 着 随机 方法 在 刻画 智能 行为 方面 取得 的 成 功 和 激发 的 兴趣 ， 人 们 会 十 分 自然 而 然 地 想 
知道 随机 方法 的 局 限 性 在 哪里 。 


智能 本 质 上 是 随机 的 吗 

关于 主体 在 不 断 变化 世界 中 的 交互 的 随机 观点 具有 极 大 的 吸引 力 。 许 多 人 可 能 会 讨论 ， 人 
类 的 “表示 系统 ”本 质 上 是 随机 的 ， 也 就 是 说 ， 会 受 感知 的 世界 和 出 现 的 原因 限制 。 行 为 主义 
者 /经 验 主义 者 的 观点 当然 会 发 现 这 种 推测 很 有 吸引 力 。 情 景 和 内 置 动作 理论 家 可 能 会 走 得 更 
远 ， 并 假设 主体 具有 的 与 物理 和 社会 环境 的 条 件 关系 为 主体 成 功 地 适应 环境 提供 了 足够 的 解释 。 
某 些 现代 的 研究 者 甚至 宣称 神经 功能 方面 本 质 上 是 随机 的 〈Hawkins 2004，Doya et al 2007 ) 。 

然而 ， 这 些 假 设 都 过 于 简单 。 让 我 们 来 看 一 下 语言 。 乔 姆 斯 基 和 其 他 研究 者 指出 ， 口 语 和 书 
面 表达 的 优势 之 一 在 于 其 生成 性 〈generative nature)。 这 就 是 说 ， 在 词汇 表 和 有 用 的 语言 形式 集 
合 中 ， 新 的 原来 没有 的 表达 式 会 自然 出 现 。 这 一 现象 在 新 句子 以 及 单词 、 构 词法 两 个 层面 都 可 能 
出 现 ， 例 如 : “Google 一 下 1!”( Google it) 。 语 言 的 随机 描述 必须 展示 能 生成 新 表达 式 的 能 力 。 目 
前 ， 无 论 是 树 库 还 是 数据 语料库 ， 这 些 收 集 的 语言 信息 的 局 限 性 都 会 相当 大 地 限制 随机 技术 的 
使 用 。 这 是 因为 收集 到 的 信息 必须 为 解释 当前 的 新 情景 提供 正确 的 设置 (或 优先 级 ) 。 

应 用 领域 中 的 随机 模型 也 有 同样 的 局 限 ， 如 在 航空 发 动机 或 运输 系统 中 。 必 要 的 ， 对 于 现实 
复杂 系统 的 模型 ， 都 会 有 封闭 世界 或 最 小 模型 假设 ( 见 9.1 节 )。 这 就 意味 着 具有 任何 模型 都 能 
考虑 的 现象 的 优先 级 限制 ， 但 没有 能 力 预 测 新 的 情况 。 

在 更 高 的 解释 层次 ， 考 虑 模型 变化 处 理 本 身 的 解释 系统 (或 范畴 ) 之 外 的 情况 是 很 难 的 。 
在 16. 1.2 节 中 提 到 过 ， 在 什么 意义 下 ， 模 型 能 够 解释 概念 上 观点 的 理论 或 高 层 重 整 ， 即 根据 变 
化 到 不 同 观 点 的 需要 来 进行 关于 模型 充分 性 的 再 评估 问题 。 这 些 主 题 仍 然 是 重要 的 研究 问题 ， 
也 限制 了 用 于 理解 非 确定 性 的 随机 方法 。 

但 是 ， 事实 仍然 是 ， 通 常 在 没有 精确 的 指令 的 情况 下 ， 主 体 也 能 “创建 ”相当 成 功 的 模型 。 
正如 16. 2 节 中 我 们 从 构建 主义 者 的 角度 看 到 的 ， 一 些 模 型 是 主体 理解 周围 世界 的 必要 条 件 ， 也 
就 是 说 ， 如 果 没 有 世界 “大 约 ” 是 什么 的 事先 约定 ， 那 么 现象 就 无 法 感知 ， 也 无 法 理解 ! 

除了 刚才 介绍 的 哲学 讨论 外 ， 随 机 系统 的 应 用 还 有 许多 实际 限制 。 目 前 的 贝 叶 斯 信念 网 络 
本 质 上 是 命题 逻辑 的 。 直 到 最 近 它 才 仅 能 表示 像 下 面 这 样 的 通用 规则 或 关系 : “YX male(X) 一 
smart(X)”。 此 外 ,和 希望 由 叶 斯 信念 网 络 中 能 含有 递归 关系 ， 尤 其 是 时 间 序 列 分析 。 对 于 进一步 
的 研究 ， 研 究 开 发 一 阶 的 随机 表示 系统 (解决 一 般 性 的 问题 ) 是 很 重要 的 。 如 13.3 节 介 绍 的 ， 
目前 已 经 有 了 一 阶 随 机 建 模 工具 和 图 灵 完 备 的 随机 建 模 工具 (Pless et al 2006 ) 。 探 索 随 机 模型 
在 神经 /心理 系统 中 的 应 用 也 很 重要 ， 目 前 还 很 少 有 这 方面 的 应 用 (Burge et al. 2007，Doya et al. 
2007 ) 。 

我 们 下 面 讨 论 人 类 智能 心理 和 哲学 方面 ， 它 们 会 影响 人 工 智 能 的 创造 、 部 署 和 评估 。 
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16. 2 智能 系统 科学 


人 工 智能 界 中 一 部 分 主要 的 研究 者 侧重 于 研究 对 人 类 智能 的 理解 ， 其 实 这 并 不 是 一 种 巧合 。 
人 们 为 智能 活动 提供 了 一 种 原型 实例 ， 而 且 人 工 智 能 的 工程 师 们 ， 即 使 他 们 一 般 并 不 会 承诺 
“使 他 们 的 程序 像 人 一 样 动作 ”， 也 很 少 忽略 人 的 解决 方案 。 一 些 应 用 〈 比 如 诊断 推理 ) 通常 都 
有 意 地 将 模型 建立 在 该 领域 的 权威 专家 的 解决 过 程 上 。 更 为 重要 地 ， 理 解 人 类 智能 本 身 就 是 一 
个 吸引 人 的 、 有 待 研究 的 科学 挑战 。 

现代 认 知 科学 ,或 者 叫 智能 系统 科学 (Luger 1994) 随 着 电子 计算 机 的 出 现 而 开始 ， 尽 管 之 
前 还 有 很 多 这 门 科 学 的 前 辈 们 进行 了 卓有成效 的 研究 ( 见 第 1 章 ) ， 从 亚 里 士 多 德 ， 到 笛 卡 儿 和 
布尔 ， 到 现代 的 理论 家 ， 如 图 灵 、McCulloch 和 Pitts (他 们 是 神经 网 络 模型 的 创立 者 ) 、 汉 . 诺 
依 曼 (人工 生 命 研究 的 倡导 者 ) 等 。 这 些 研究 逐步 变 成 了 一 门 科学 ， 它 能 在 这 些 理论 概念 的 基 
础 上 设计 和 运行 实验 ， 并 且 与 计算 机 的 结合 而 获得 重大 进展 。 最 后 ， 我 们 会 间 : “有 包含 一 切 的 
智能 科学 吗 ?” 我 们 也 可 以 进一步 问 :“ 存 在 一 种 智能 系统 科学 能 够 支持 人 工 智 能 的 构造 吗 ?” 

在 接 下 来 的 几 小 节 中 , 将 简要 讨论 心理 学 、 认 识 论 、 社 会 学 如 何 支持 人 工 智 能 的 研究 和 
发 展 。 
16.2.1 心理 学 约束 


认 知 科学 的 早期 研究 对 人 在 解决 逻辑 问题 、 简 单 游戏 、 规 划 、 概 念 学 习 等 方面 进行 了 考察 
(Feigenbaum and Feldman 1963 ，Newell and Simon 1972，Simon 1981)。 纽 维尔 (Newell) 和 西蒙 
(Simon) 在 做 “逻辑 理论 家 ”程序 的 同时 ( 见 14. 1 节 ) ， 开 始 把 自己 的 计算 方法 和 人 们 所 使 用 
的 搜索 策略 进行 比较 。 他 们 的 数据 来 自 人 们 在 设计 一 个 问题 解法 (如 一 个 逻辑 证 明 〉 的 出 声 思 
考 协议 和 描述 。 然 后 ， 纽 维尔 和 西蒙 还 把 这 些 协 议 与 计算 机 程序 在 解决 相同 问题 时 的 行为 进行 
了 比较 。 研 究 者 们 发 现在 人 类 所 采取 的 协议 和 计算 机 程序 面 对 问 题 时 的 行为 之 间 存 在 着 值得 注 
意 的 相似 性 和 有 趣 的 差异 。 

这 些 早期 的 项 目 建立 了 认 知 科学 可 以 使 用 的 方法 论 ， 这 是 在 其 后 几 十 年 中 可 以 采用 的 : 

1) 基于 人 们 解决 特定 类 型 问题 的 数据 ， 为 问题 求解 设计 一 个 表示 模式 和 相关 的 搜索 策略 ; 

2) 运行 基于 计算 机 的 模型 ， 产 生 求解 行为 的 轨迹 。 

3) 观察 人 是 如 何 解决 这 些 问题 的 ， 并 记录 其 解决 过 程 中 的 可 测量 参数 ， 比 如 在 出 声 思 考 协 
议 方案 、 有 眼睛 移动 和 书面 记录 的 部 分 结果 中 发 现 的 那些 信息 。 

4) 分 析 和 比较 人 和 计算 机 的 解决 方案 。 

5) 为 下 一 轮 测试 和 比较 修改 计算 机 模型 。 

这 些 经 验 式 的 方法 论 具 体 见 纽 维尔 和 西蒙 的 图 灵 奖 获奖 演说 ,我 们 在 本 章 的 开始 已 经 引用 
了 部 分 内 容 。 认 知 科学 的 一 个 重要 方面 是 使 用 实验 来 验证 问题 求解 的 结构 ， 不 管 它 是 一 个 产生 
式 系统 ， 连 接 系 统 ， 或 者 是 基于 分 布 式 主体 交互 的 体系 结构 。 

最 近 几 年 来 ， 这 种 范例 中 又 出 现 了 一 种 全 新 的 维度 。 现 在 ， 不 仅仅 是 程序 在 问题 求解 活动 中 能 够 
被 解构 和 观察 ， 而 且 人 和 其 他 生命 形式 也 一 样 能 够 这 样 。 最 近 也 出 现 了 许多 新 的 成 像 技 术 ， 它 们 可 以 
用 来 观察 大 脑 皮层 的 活动 。 比 如 脑 磁 造 影 术 (MEG) ， 它 能 探测 到 大 量 神经 元 所 生成 的 磁场 。 与 这 些 
神经 元 生成 的 电位 不 同 ， 磁 场 并 不 会 因为 头骨 和 头皮 而 变 得 模糊 不 清 ， 因 此 其 效果 可 能 更 好 。 

第 二 种 成 像 技 术 是 正 电子 发 射 X 射线 断层 显 像 术 (PET) 。 首 先 将 一 种 放射 性 物质 (如 0 ) 
注 人 到 血 流 中 ， 当 大 脑 的 特定 区 域 处 于 活动 状态 时 ， 此 时 通过 探测 器 的 标注 了 这 种 放射 性 核 素 
的 物质 将 比 此 区 域 处 于 休息 状态 时 多 。 比 较 这 些 静 止 的 和 活动 的 图 像 能 够 潜在 地 揭示 出 功能 性 
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的 分 布 ， 其 分 辩 精度 大 约 在 1 厘米 〈 见 Stytz and Frieder 1990) 。 

神经 分 析 的 另外 一 种 技术 是 功能 性 磁 共 振 成 像 技 术 (fMRI)。 这 种 方法 由 基于 核磁 共振 
(NMR) 的 标准 结构 成 像 这 个 原理 发 展 而 来 。 像 PET 一 样 ， 这 种 方法 通过 比较 休息 神经 状态 和 活 
动 神经 状态 来 揭示 功能 区 域 定位 。 . 

对 于 大 脑 功能 区 域 定位 的 更 为 深远 的 贡献 是 由 Barak Pearlmutter 和 他 的 同事 共同 开发 的 软件 
算法 (Pearlmutter and Parra 1997 ，Tang et al. 1999 ， 2000a，2000b) ， 它 与 上 述 的 成 像 技 术 密 切 相 
关 。 这 些 研 究 者 能 够 把 经 常 看 到 的 复杂 的 噪声 模式 作为 不 同 神经 成 像 技 术 的 输出 ， 并 把 它们 分 
解 为 不 同 的 部 件 。 这 是 分 析 过 程 中 的 重要 步 又 ， 因为 出 现 的 正常 稳定 状态 的 模式 ， 比 如 眼睛 移 
动 、 呼 吸 和 心跳 ， 一 般 是 与 其 他 我 们 想 要 了 解 的 神经 激发 模式 交织 在 一 起 的 。 

认 知 神经 科学 最 近 的 研究 结果 (Squire and Kosslyn 1998 ， Shephard 1998 ，Gazzaniga 2000) 大 
大 加 深 了 我 们 对 于 与 智能 活动 有 关 的 神经 组 件 的 理解 。 尽管 对 这 些 结果 的 分 析 和 批评 已 经 超出 
了 本 书 的 范围 ， 但 我 们 还 是 列举 和 参考 了 一 下 其 中 几 个 重要 问题 ， 


在 感知 和 注意 领域 ， 存 在 着 绕 定 问题 。 像 Anne Triesman (1993，1998) 和 Jeff Hawkins 
(2004) 这 样 的 研究 者 指出 ， 感 知 的 表示 依赖 于 分 布 式 神经 编码 ， 这 些 神经 编码 用 来 将 对 象 
的 部 件 和 属性 相互 联系 起 来 。 他 们 还 问 了 这 样 的 问题 “ 需要 什么 样 的 机 制 来 “ 绑 定 ”与 每 
个 对 象 相关 的 信息 ， 并 把 一 个 对 象 与 其 他 对 象 区 分 开 来 ?” 

在 视觉 搜索 领域 ， 哪 一 _ 种 神经 机 制 能 支持 对 赔 和 信 大 型 复杂 冰 景 中 的 对 象 的 感知 ? 一 些 
实验 表明 ， 在 搜索 目标 的 选择 中 ， 消 除 无 关 对 象 的 信息 起 到 了 很 重要 的 作用 (Luck 1998)。 
此 外 ， 我 们 是 怎样 “学 习 ” 去 看 的 (Sagi and Tanne 1998)? 

在 感知 的 可 塑性 领域 ，Gilbert (1992，1998) 主张 ， 我 们 所 看 到 的 并 不 是 严格 地 反映 场 
景 的 物理 特征 ， 而 是 高 度 依赖 于 我 们 的 头脑 试图 解释 这 个 场景 的 过 程 。 

大 脑 皮 层 系 统 是 如 何 表 示 和 检索 暂时 相关 的 信息 的 ， 包 括 感知 的 解释 和 运动 神经 活动 
的 产生 (lvry 1998 )? 

在 记忆 研究 中 ,在 情绪 激动 时 所 分 泌 的 压力 激素 调节 着 记忆 的 过 程 (Cahill and Me- 
Gaugh 1998) 。 这 跟 基 本 的 问题 相关 : 思考 、 词 语 和 感知 对 于 一 个 主体 是 如 何 成 为 有 意义 的 ? 
什么 样 的 感觉 才 可 能 是 “悲伤 的 事情 ”? 维 吉 尔 的 诗 “lacremae rerum” 是 吗 ? 

说 话 的 语音 声学 特点 为 连接 关于 认 知 的 神经 科学 研究 和 语言 学 理论 提供 了 很 好 的 组 织 
原则 (Miller et al. 1998 ) 。 大 脑 皮层 的 语法 和 语义 组 件 是 如 何 整合 的 (Gazzaniga 2000)? 

一 个 人 如 何 才 能 掌握 一 门 特 定语 言 ， 哪 些 神经 心理 学 阶段 能 够 支持 这 种 智力 发 育 
(了 Kuhl 1993 ,1998)? 

怎样 理解 发 育 ， 什 么 是 临界 期 可 塑性 ， 以 及 什么 是 哺乳 动物 躯体 感觉 系统 中 的 成 年 重 
组 (O'Leary et al. 1999)? 发 育 阶 段 对 于 “构建 ”智能 是 很 关键 的 吗 ? 具体 讨论 见 Karmiloff- 
Smith (1992 ) 和 Cazzaniga (2000) 。 


人 工 智 能 实践 肯定 不 要 求 上 述 这 些 课 题 以 及 神经 /心理 学 等 领域 中 的 广博 知识 。 然 而 ， 这 种 
类 型 的 知识 一 方面 能 支持 制造 人 工 智能 制品 的 工程 ， 另 一 方面 也 能 帮助 把 人 工 智 能 的 研究 和 发 
展 定位 在 智能 系统 的 大 科学 这 种 环境 中 。 最 后 ， 心 理学 、 神 经 心理 学 和 计算 合成 等 的 创建 是 很 激 
动人 心 的 ， 但 这 需要 一 种 成 熟 的 认识 论 ， 我 们 将 在 下 一 节 讨 论 。 


16. 2.2 认识论 问题 


假如 你 不 知道 自己 正 走向 何方 ， 便 必须 格外 小 心 ， 以 免 永 远 到 不 了 该 到 的 地 方 …，… 
一 - 约 吉 . 


拉 


冯 
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人 工 智能 现 有 的 发 展 是 通过 许多 重要 的 挑战 和 质疑 而 形成 的 。 自 然 语 言 理解 、 规 划 、 不 确定 
情形 的 推理 以 及 机 器 学 习 等 就 属于 这 种 抓 住 了 智能 行为 本 质 特征 的 典型 问题 。 更 为 重要 的 是 ， 
在 这 些 领域 运作 的 智能 系统 需要 所 处 情形 和 社会 环境 的 目的 、 实 践 、 性 能 等 方面 的 知识 。 为 了 完 - 
成 这 些 目的 ， 我 们 必须 检查 那些 试图 带 有 “智能 ”的 程序 在 认识 论 方面 的 许诺 〈epistemological 
commitment ) 。 

这 种 认识 论 方面 的 许诺 同时 反映 了 知识 符号 使 用 的 语义 和 所 使 用 符号 的 结构 。 这 些 情形 的 
任务 是 发 现 和 开拓 存在 于 一 个 问题 领域 中 的 不 变性 。“ 不 变性 ”是 用 来 描述 复杂 环境 的 规律 性 或 
可 操作 特点 的 一 个 术语 。 在 现在 的 讨论 中 ， 经 常 使 用 符号 和 符号 系统 这 两 个 术语 ， 从 Newell 和 
Simon (1976) 所 采用 的 明确 符号 ， 到 连接 系统 的 结 点 和 网 络 体系 结构 ， 再 到 遗传 和 人 工 生命 的 
涌现 记号 。 虽 然 下 一 个 问题 在 大 多 数 人 工 智能 领域 中 都 很 普遍 ， 但 我 们 将 讨论 集中 在 机 器 学 习 
领域 ， 因 为 在 本 书 中 为 学 习 创 建 了 多 个 例子 和 算法 。 

尽管 机 器 学 习 领 域 取 得 了 这 些 进 展 ， 但 它 仍然 是 人 工 智能 所 面临 的 最 难 问题 之 一 。 有 三 个 
问题 限制 着 我 们 目前 的 理解 和 研究 进程 : 一 是 泛 化 和 超 量 学 习 问 题 ， 二 是 学 习 中 的 归纳 偏 置 问 
题 ， 三 是 经 验 主义 者 的 困境 问题 或 者 对 无 约束 学 习 的 理解 。 后 面 这 两 个 问题 是 相关 的 : 许多 学 习 
算法 隐 含 的 归纳 偏 置 是 理性 主义 者 由 对 期 望 的 片面 理解 而 产生 问题 的 具体 体现 ， 也 就 是 说 ,我 
们 经 常 学 习 的 东西 似乎 就 是 我 们 希望 学 习 的 东西 直接 作用 的 结果 。 从 相反 的 观点 来 看 ， 正 如 我 
们 所 看 到 的 ， 在 人 工 生命 的 研究 中 只 有 非常 少 的 学 习 内 容 是 事先 期 望 的 。 那 么 “构造 它 ， 则 它 
将 会 发 生 ” 这 样 说 是 否 就 够 了 呢 ? 根据 本 节 开 始 时 提 到 的 约 吉 * 贝 拉 的 话 ， 可 能 不 是 这 样 的 ! 
在 接 下 来 的 几 节 中 将 简要 讨论 这 些 问 题 。 


泛 化 问题 

我 们 过 去 常 介 绍 的 不 同学 习 模 型 的 例子 具有 很 大 的 局 限 性 ， 这 些 学 习 模 型 包括 基于 符号 的 
模型 、 连 接 模 型 和 涌现 模型 。 例 如 ， 连接 体系 结构 通常 仅仅 包含 很 少 的 结 点 或 者 部 分 隐藏 的 层 。 
这 是 适当 的 ， 因为 在 单一 神经 元 或 者 部 分 层 的 环境 中 就 足以 解释 主要 的 学 习 规律 。 这 可 能 会 令 
人 很 迷惑 ， 因 为 神经 网 络 应 用 通常 是 异常 庞大 的 ， 而 且 问 题 的 规模 大 小 是 很 重要 的 。 例 如 ， 对 于 
反馈 学 习 ， 通 常 需要 采用 大 型 网 络 中 大 量 的 训练 实例 来 解决 任何 有 实际 意义 的 问题 。 许 多 研究 
者 发 表 了 大 量 的 评论 ， 涉及 的 课题 包括 选择 合适 数目 的 输入 值 ， 输入 参数 和 隐藏 结 点 的 比例 ， 以 
及 收敛 前 所 必需 进行 的 训练 试验 (Hecht-Nielsen 1990 ， Zurada 1992, Freeman and Skapura 1991 ) 。 
事实 上 ， 对 于 任意 一 个 学 习 算法 来 说 ， 训练 数据 的 数量 和 质量 都 是 很 重要 的 问题 。 一 个 学 习 算 法 
如 果 没 有 适当 的 误差 或 关于 一 个 领域 的 广泛 的 内 置 知识 ， 则 它 可 能 会 被 引入 歧途 ,试图 在 吐 杂 
的 、 稀 少 甚至 错误 的 数据 中 去 寻找 模式 。 除 了 承认 有 这 些 困难 的 、 重 要 的 且 公开 的 问题 以 外 ， 本 
书 还 没有 谈 到 这 种 类 型 的 “工程 ”讨论 。 

一 个 相关 问题 是 学 习 中 的 “充分 性 ”问题 。 什么 时 候 我 们 才能 够 说 我 们 的 算法 对 于 抓 住 一 
个 问题 领域 的 重要 约束 或 者 不 变性 来 说 是 充分 的 呢 ? 我们 是 否 预 留 了 一 部 分 原始 数据 以 测试 我 
们 的 学 习 算 法 ? 我 们 所 提供 的 数据 的 多 少 与 学 习 的 质量 有 关 吗 ? 或 许 这 种 充分 的 评价 是 启发 式 
的 或 者 具有 审美 学 的 : 我 们 人 类 通常 都 认为 自己 的 算法 是 “足够 好 的 ”。 

下 面 我 们 举例 说 明 这 个 泛 化 问题 ， 这 里 使 用 反馈 方式 从 一 组 数据 点 中 导出 一 般 函 数 。 图 16… 
表示 了 我 们 要 求 我 们 的 算法 去 进行 泛 化 的 数据 点 。 通过 这 些 点 的 线 表 示 了 学 习 算法 归纳 出 的 孙 
数 。 记 住 ， 一 旦 这 个 算法 已 经 训练 好 ， 我们 就 将 给 它 一 些 新 的 数据 点 ， 让 它 从 这 些 数据 点 集合 中 
产生 一 个 好 的 泛 化 函数 。 

归纳 函数 f, 可 以 表示 一 个 相当 准确 的 最 小 均 方 近似 。 随 着 进一步 的 训练 ， 系 统 可 能 产生 f， 
它 看 起 来 似乎 跟 这 些 数据 点 更 贴近 了 ， 但 是 还 没有 准确 地 与 各 个 数据 点 匹配 。 若 再 进一步 训 
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练 ， 可 能 就 会 产生 一 个 恰到好处 的 函数 ， 它 更 好 地 拟 合 这 些 数据 点 ， 但 是 这 对 于 新 的 输入 数据 来 
说 ， 可 能 会 产生 很 糟糕 的 泛 化 结果 。 这 种 现象 称 为 对 网 络 的 过 度 训 练 。 反 馈 学 习 的 一 个 优点 是 ， 
它 在 许多 应 用 领域 中 能 够 产生 有 效 的 泛 化 结果 ， 也 就 是 说 ， 适 合 于 训练 数据 的 函数 近似 也 能 正 
确 地 对 新 的 数据 进行 处 理 。 然 而 ， 确 定 网 络 所 经 过 的 从 低 训 练 量 状态 到 过 度 训练 状态 的 这 个 临 
界 点 是 很 重要 的 。 有 人 可 能 会 想 ， 可 以 依据 原始 数据 给 出 一 种 神经 网 络 或 者 学 习 工 具 ， 然 后 简单 
地 站 在 旁边 观察 ， 直 到 对 于 新 的 相似 问题 也 产生 了 最 有 效 的 、 有 用 的 泛 化 结果 ， 但 这 种 想法 还 是 
太 天 真 了 。 


图 16-2 一 组 数据 点 和 3 个 函数 近似 


我 们 把 这 个 泛 化 问题 放 回 到 认识 论 环境 中 来 结束 讨论 。 当 问题 求解 程序 为 求解 过 程 生成 和 
使 用 表示 法 无 论 是 符号 、 网 络 结 点 还 是 任何 其 他 方法 ) 时 ， 它 们 是 在 问题 或 者 求解 领域 中 创 
建 不 变性 或 者 不 变 的 系统 ， 因 此 ， 这 些 泛 化 结果 的 质量 和 清晰 度 能 够 为 这 种 努力 的 最 终 成 功 提 
供 关 键 性 的 支持 。 在 下 一 小 节 中 还 将 继续 深入 讨论 这 个 问题 。 

归纳 偏 置 ， 理 性 主义 者 的 先 验 偏 置 

第 10 章 到 第 13 章 的 自动 学 习 技术 以 及 所 有 的 人 工 智能 技术 几乎 都 反映 了 其 创立 者 的 一 种 先 
验 偏 置 。 归 纳 偏 置 问题 就 是 结果 表示 和 搜索 策略 给 我 们 提供 了 一 种 对 已 经 解释 了 的 世界 进行 纺 
码 的 媒介 。 它 们 很 少 为 我 们 提供 对 解释 的 提问 机 制 、 生 成 新 观点 的 机 制 或 者 当 它们 没有 生成 时 
提供 回 湖 和 改变 看 法 的 机 制 。 这 种 隐 含 的 偏 置 将 导致 理性 主义 认识 论 的 陷阱， 即 “看 到 的 世界 
恰好 只 是 我 们 期 望 看 见 的 或 我 们 从 训练 中 看 见 的 。 

归纳 偏 置 的 作用 在 每 种 学 习 范 型 中 必须 明确 。 此 外 ， 没 有 被 归纳 偏 置 承 认 并 不 是 说 它 不 存 
在 或 者 严重 地 影响 学 习 的 参数 。 在 基于 符号 的 学 习 中 ， 归 纳 偏 置 通常 是 很 明显 的 ， 例 如 ， 使 用 用 
于 概念 学 习 的 语义 网 。 在 Winston (1975a，10.1 节 ) 的 学 习 算法 中 ， 偏 置 包括 合 取 关 系 表示 以 
及 对 约束 提纯 使 用 “似是而非 ”的 重要 性 。 我 们 可 以 看 到 类 似 的 偏 置 ， 比 如 在 10. 1 节 的 变形 空 
间 搜 索 的 谓词 使 用 中 ，10.3 节 的 决策 树 中 ， 或 者 甚至 在 10.5 节 的 针对 Meta-DENDRAL 的 规 
则 中 。 

正如 我 们 在 第 11 章 和 第 13 章 中 明白 表示 的 ， 不 管 怎样 ， 连 接 系统 和 遗传 学 习 行为 的 许多 方 
面 都 假定 了 归纳 偏 置 。 例 如 ， 感 知 机 网 络 的 局 限 性 导致 了 隐 结 点 的 引信。 我们 可 能 会 间 : 隐 结 点 
在 解决 方案 的 生成 中 到 底 有 什么 作用 。 理 解 隐 结 点 作用 的 方法 之 一 是 在 表示 空间 中 增加 维度 。 
举 一 个 简单 的 例子 ， 在 11.3.3 节 中 ， 针 对 异 或 问题 的 数据 点 在 二 维 中 不 是 线性 可 分 的 。 但 是 ， 
在 隐 结 点 上 的 学 习 权 重 为 表示 提供 了 另外 一 个 维度 。 在 三 维 上 使 用 一 种 二 维 平面 是 可 以 把 这 些 
点 分 开 的 。 给 定 输入 空间 的 两 个 维度 和 隐 结 点 ， 这 个 网 络 的 输出 层 此 时 就 可 以 看 成 是 一 个 普通 
的 感知 机 ， 它 寻找 一 个 能 在 三 维 空间 中 把 这 些 点 分 开 的 平面 。 

_ 种 补充 的 看 法 是 ， 许 多 “不 同 ”的 学 习 范例 (有 时 是 不 明显 的 ) 共享 公共 的 归纳 偏 置 。 
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我 们 指出 了 其 中 一 些 : 如 10.5 节 中 的 聚 类 于 CLUSTER/2 的 关系 ，11.2 节 的 感知 机 ， 以 及 11.3 
节 的 原型 网 络 。 我 们 指出 ， 道 传 以 及 在 Kohonen 层 使 用 无 监督 竞争 学 习 而 在 Grossberg 层 使 用 监 
督 Hebbian 学 习 的 对 侦 网 络 ， 它 们 在 很 多 方面 类 似 于 反馈 学 习 。 在 逆 传 中 ， 在 Kohonen 层 聚 类 的 
数据 所 起 的 作用 类 似 于 由 反 传 的 隐 结 点 所 学 习 的 泛 化 。 | 

在 许多 重要 的 方法 中 ,我 们 给 出 的 工具 是 很 类 似 的 。 实 际 上 ， 甚 至 原型 (表示 数据 聚 类 ) 
的 发 现 都 提供 了 函数 近似 的 补充 情形 。 在 第 一 种 情况 下 ， 我 们 试图 对 数据 集 进 行 分 类 ; 在 第 二 种 
情况 ， 我 们 将 生成 能 精确 地 把 数据 聚 类 相互 分 开 的 函数 。 当 感知 机 所 使 用 的 最 小 距离 分 类 算法 
也 给 出 了 定义 线性 分 离 的 参数 时 ， 我 们 将 看 到 上 述 的 情形 。 

甚至 从 不 同 的 观点 还 能 看 到 产生 函数 的 泛 化 。 例 如 ， 长 期 以 来 ， 统 计 学 技术 能 够 发 现 数据 之 
间 的 相互 关系 。 重 复 展开 的 泰勒 级 数 能 够 用 于 逼近 大 多 数 函 数 。 使 用 多 项 式 允 近 算法 逼近 拟 合 
数据 点 的 函数 已 经 有 一 个 多 世纪 的 历史 了 。 

总 之 ， 对 学 习 模 式 〈 不 管 是 基于 符号 的 、 连 接 的 、 涌 现 的 还 是 随机 的 ) 做 出 的 承诺 在 很 大 
程度 上 调解 了 我 们 从 问题 求解 中 期 望 的 结果 。 当 我 们 充分 了 解 这 些 遍及 计算 问题 求解 器 整个 设 
计 过 程 中 的 协同 结果 时 ， 我 们 通常 能 够 提高 我 们 成 功 的 机 会 ， 也 能 更 有 见识 地 解释 我 们 的 结果 。 


经 验 主义 者 的 困境 

如 果 当 前 针对 机 器 学 习 《〈 尤 其 是 有 监督 学 习 ) 的 这 些 方法 拥有 占 优势 的 归纳 偏 置 ， 那么 包 
括 许 多 遗传 和 进化 方法 的 无 监督 学 习 不 得 不 抓 住 相 反 的 问题 ， 这 有 时 被 称 为 经 验 主义 者 的 困境 。 
这 些 研 究 领域 的 一 个 主题 是 ， 解 决 方案 将 会 出 现 ， 替 代 方 案 会 被 进化 ， 一 个 群体 反映 了 适 者 生 
存 。 这 是 很 有 力 的 材料 ， 尤 其 是 在 并 行 和 分 布 式 的 搜索 环境 中 。 但 这 里 有 一 个 问题 是 : 当 我 们 不 
确定 往 哪 里 去 时 ， 怎 样 才能 知道 我 们 在 哪里 ? 

柏拉图 在 2000 多 年 以 前 就 以 奴隶 米 诺 的 话 提出 了 这 个 问题 : 


苏 格 拉 底 ， 你 怎样 才能 对 你 不 知道 的 东西 提问 ? 你 将 提出 什么 作为 询问 的 主题 ? 如 果 你 遇 到 
了 你 要 找 的 ， 你 怎么 知道 那 就 是 你 以 前 不 知道 的 (Plato 1961)? 


一 些 研究 者 们 已 经 举例 说 明 米 诺 是 正确 的 ， 具 体 见 Mitchell (1997) 和 Wolpert 与 Macready 
(1995) 的 《没有 免费 的 午餐 》。 事 实 上 ， 经 验 主义 者 需要 理性 主义 者 先 验 的 残余 来 拯救 科学 。 

尽管 如 此 ， 关 于 学 习 的 无 监督 模型 和 进化 模型 ， 仍 然 有 令 人 兴奋 的 东西 ， 例 如 ， 在 基于 例子 
和 能 量 最 小 化 网 络 创建 中 ， 它 可 以 看 作 是 针对 复杂 相关 不 变性 的 不 动 点 吸引 子 或 吸引 域 。 当 数 
据点 向 吸引 子 “ 下 陷 ” 时 ， 我们 进行 观察 ， 并 将 这 些 新 结构 看 成 是 对 动态 现象 建 模 的 工具 。 这 
时 我 们 可 能 会 问 ， 在 这 些 范例 中 计算 有 什么 限制 ? 

事实 上 ,研究 者 们 已 经 证 明 (Siegelman and Sontag 1991) 再 现 网 络 是 计算 完备 的 ， 即 它 与 图 
灵机 类 型 等 价 。 这 种 图 灵 等 价 性 扩展 了 早期 的 结果 : Kolmogorov (1957) 指出 对 于 任意 的 连续 函 
数 ， 都 存在 一 个 能 计算 该 函数 的 神经 网 络 。 同 时 还 证 明 ， 具 有 一 个 隐藏 层 的 反馈 网 络 能 够 逼近 一 
类 更 严格 的 连续 函数 中 的 任何 函数 (Hecht-Nielsen 1989) 。 同 样 我 们 在 11. 3 节 中 也 看 到 , 冯 - 诺 
依 曼 建 立 的 有 限 状态 自动 机 也 是 图 灵 完 备 的 。 因 此 ， 连 接 网 络 和 有 限 状 态 自动 机 看 来 是 两 种 实 
质 上 能 够 计算 任何 可 计算 函数 的 算法 ， 当 然 这 种 算法 不 止 丙种。 此外， 归纳 偏 置 确实 能 应 用 于 无 
监督 学 习 以 及 遗传 和 涌现 的 学 习 模 型 ;表示 偏 置 应 用 于 结 点 、 网 络 和 基因 组 的 设计 ， 算 法 偏 置 则 
应 用 于 搜索 算 子 、 奖 赏 算 子 和 选择 算 子 。 

那么 什么 是 无 监督 学 习 器 ， 不 管 是 连接 的 、 遗 传 的 还 是 进化 的 有 限 状 态 机 的 各 种 形式 ， 它 们 
能 提供 这 种 学 习 器 吗 ? 

1) 连接 学 习 中 最 引 人 注 意 的 特征 是 大 部 分 的 模型 是 数据 或 者 实例 驱动 的 。 也 就 是 说 ， 尽 管 
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它们 的 结构 是 显 式 设计 的 ， 但 它们 通过 实例 学 习 ， 从 特定 问题 领域 的 数据 中 进行 概括 和 泛 化 。 但 
是 这 里 仍然 存在 问题 ， 即 数据 是 否 充分 或 者 足够 纯净 而 不 至 于 干扰 求解 过 程 。 设 计 者 如 何 才能 
知道 这 些 ? 

2) 遗传 算法 同时 也 支持 一 种 很 强 的 、 富 有 弹性 的 问题 空间 搜索 。 遗 传 搜索 既是 由 变异 算 子 
所 施加 的 多 样 性 所 驱动 ， 同 时 也 是 由 交叉 和 转 置 算 子 等 〈 它 们 为 下 一 代 保 留 了 父辈 信息 的 重要 
特征 ) 所 驱动 。 程 序 设 计 者 如 何 才 能 够 保留 和 培养 这 种 多 样 性 /保留 性 的 折 中 ? 

3) 遗传 算法 和 连接 体系 结构 可 以 被 视 为 并 行 和 异步 处 理 的 实例 。 它 们 确实 通过 并 行 异 步 处 
理 提供 了 用 显 式 的 顺序 程序 设计 不 能 获得 的 结果 吗 ? 

4) 对 于 许多 现代 的 连接 和 遗传 学 习 的 实践 者 来 说 ， 尽管 神经 的 和 社会 学 的 启示 并 不 是 很 重 
要 的 ， 但 是 这 些 技术 确实 反应 了 自然 进化 和 选择 的 许多 重要 方面 。 我 们 看 到 使 用 感知 机 、 反 传 和 
Hebb 模型 来 进行 错误 归 约 学 习 的 模型 ， 我 们 也 可 以 在 11.3.4 节 看 到 自 联 想 Hopfield 网 。 多 种 进 
化 模型 可 以 见 第 12 章 的 范例 。 

5) 最 后 ， 所 有 的 学 习 范 例 都 是 按 经 验 进行 探索 的 工具 。 我 们 在 捕获 世界 的 不 变性 时 ， 当 问 
到 关于 感知 机 、 学 习 和 理解 的 更 为 深入 的 问题 时 ， 我 们 的 工具 是 否 足 够 强大 和 富有 表达 力 ? 

在 下 一 节 ， 我 们 提出 一 种 与 现代 人 工 智能 的 实验 方法 相 结合 的 构造 论 者 的 认识 论 ， 为 继续 
构造 和 探索 智能 系统 科学 提供 了 工具 和 技术 。 


构造 论 者 的 一 致 观点 
理论 就 像 网 一 样 ， 他 不 断 地 搬 网 ， 捕 获 ……- 
—L. Wittgenstein 

构造 论 者 假设 : 所 有 理解 都 是 世界 中 能 量 模式 与 由 智能 主体 强加 在 世界 上 的 智力 类 别 之 间 
进行 交互 的 结果 (Piaget 1954 ，1970 ; von Glasersfeld 1978 ) 。 使 用 Piaget 的 描述 ， 我 们 依据 我 们 
当前 的 理解 吸收 外 部 现象 并 把 我 们 的 理解 适应 于 现象 的 “需要 ”。 

构造 论 者 经 常 使 用 表示 模式 (schemata) 这 个 术语 来 描述 那些 用 来 组 织 外 部 世界 的 经 验 的 先 
验 结构 。 这 个 术语 源 自 于 英国 心理 学 家 Barilett (1932) ， 其 哲学 根源 要 追溯 到 康德 〈Kant， 
1781/1964)。 基 于 这 样 的 观点 ， 观 察 不 是 被 动 的 、 中 立 的 ， 而 是 主动 的 、 解 释 性 的 。 

感知 到 的 信息 ， 即 康德 所 说 的 后 天 性 知识 ， 根 本 不 能 准确 地 适合 于 我 们 的 预想 和 先 验 结构 
的 表示 模式 。 由 于 这 种 情况 的 牵引 ， 主 题 用 来 组 织 经 验 的 基于 表示 模式 的 偏 置 可 以 既 被 修改 和 
扩展 也 可 以 被 替换 。 面 对 与 环境 不 成 功 的 交互 而 产生 的 对 适应 性 的 需求 驱动 着 认 知 平衡 的 进程 。 
因此 ， 构 造 论 的 认识 论 根 本 上 是 一 种 认 知 进化 和 精炼 。 构 造 论 的 一 个 重要 结果 是 任意 情形 的 解 
释 包 括 了 对 观察 者 对 实现 世界 的 概念 和 分 类 的 过 分 要 求 〈 归 纳 偏 置 ) 。 

当 Piaget (1954，1970) 提出 了 一 种 针对 理解 的 构造 论 方法 时 ， 他 把 它 称 为 遗传 认识 论 。 由 
于 缺乏 对 世界 的 合适 表示 模式 ， 这 形成 了 一 种 认 知 的 牵引 力 。 这 种 牵引 力 驱动 了 表示 模式 修订 
的 进程 。 表 示 模 式 的 修订 (Piaget 的 适应 性 ) 说 明 对 趋 于 平衡 的 理解 的 不 断 进 化 。 

趋向 于 平衡 的 图 式 修订 和 移动 是 一 种 遗传 天 性 和 一 种 针对 社会 结构 和 外 部 世界 的 适应 性 。 
它 同 时 综合 了 这 两 种 力量 ， 并 表现 求生 存 所 体现 的 天 性 。 表 示 模 式 修改 既是 遗传 天 性 的 先 验 结 
果 ， 也 是 社会 与 世界 的 后 天 机 能 。 它 反映 了 一 个 具体 化 的 时 间 和 空间 上 的 生存 驱动 的 主体 ， 一 个 
生物 。 

这 里 存在 着 经 验 主义 和 理性 主义 的 混合 ， 以 主体 生存 目标 为 中 介 。 作 为 具体 体现 ， 除 了 知道 
哪 一 个 首先 道 过 了 感觉 器 官 ， 其 他 的 我 们 一 无 所 知 。 作 为 适应 性 ， 我 们 通过 学 习 外 部 世界 的 一 般 
模式 而 生存 。 我 们 所 感知 到 的 东西 是 通过 我 们 所 期 望 的 东西 来 传达 的 ， 而 我 们 所 期 望 的 是 受 我 
们 感知 的 东西 所 影响 的 。 也 就 是 说 ， 这 两 种 功能 只 有 通过 相互 理解 才能 发 挥 作用 。 在 这 种 随机 模 
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型 上 一 一 贝 叶 斯 模型 和 马尔 可 夫 模 型 一 一 是 适应 的 ， 就 如 同 是 目前 阐明 的 先 验 经 验 条 件 (Doya 
et al. 2007 ) 。 : 

最 后 ， 作 为 主体 ， 我 们 很 少 有 意识 地 察觉 到 支持 我 们 与 世界 进行 交互 的 表示 模式 。 作 为 同时 
在 科学 和 社会 中 的 倾向 和 偏见 的 来 源 ， 我 们 通常 都 不 能 意识 到 它们 的 内 容 。 这 些 是 我 们 与 世界 
平衡 的 本 质 ， 而 〈 通 常 ) 不 是 我 们 有 意识 的 智力 生命 的 可 感觉 的 元 素 。 

为 什么 构造 论 者 的 认识 论 对 于 人 工 智 能 的 问题 是 特别 有 用 的 呢 ? 环境 中 的 主体 如 何 理解 它 
自己 对 周围 情况 的 理解 呢 ? 我 们 相信 构造 论 有 助 于 解决 哲学 和 心理 学 的 认识 论 的 访问 问题 。 一 
个 多 世纪 以 来 ， 这 两 个 学 科 的 两 个 学 派 之 间 一 直 存 在 着 斗争 ， 实 证 主义 派别 主张 从 观察 到 的 物 
理 行为 中 对 智能 现象 进行 推理 ， 而 现象 学 派 则 允许 使 用 第 一 人 称 的 报告 来 了 解 心理 现象 。 这 种 
学 派 存 在 的 原因 是 两 种 了 解 心理 现象 的 方式 都 要 求 一 定形 式 的 推理 或 者 构造 。 

与 那些 似乎 可 以 直接 简单 观察 到 的 物理 对 象 〈 像 椅子 和 门 ) 相 比 ， 一 个 主体 的 智力 状态 和 
分 布 似乎 很 难 来 加 以 刻画 。 实 际 上 ， 我 们 相信 在 直接 访问 物理 现象 和 间接 访问 智能 现象 之 间 截 
然 分 开 是 不 妥 的 。 构 造 论 者 分 析 表 明 ， 如 果 不 使 用 一 些 用 来 组 织 经 验 的 模型 或 表示 模式 ， 则 没有 
什么 经 验 是 可 能 的 。 在 科学 探索 中 以 及 我 们 人 类 的 经 验 中 ， 这 就 意味 着 所 有 对 现象 的 了 解 都 要 
通过 探索 、 近 似 和 不 断 的 模型 改进 。 


人 工 智能 研究 者 的 研究 工作 是 什么 

作为 从 事 人 工 智 能 的 研究 者 ， 我 们 是 构建 主义 者 。 我 们 建立 、 测 试 和 改进 模型 。 然 而 ， 在 建 
模 活动 中 ， 我 们 打算 逼近 什么 ”下面 我 们 将 讨论 这 个 问题 ， 首 先 让 我 们 来 做 一 个 简单 的 认识 论 观 
察 ， 人 工 智 能 问题 求解 器 不 是 要 抓 作 “事物 外 部 ”的 本 质 ， 而 是 更 适合 来 模拟 模型 的 建立 、 精 
化 以 及 智能 主体 自身 启发 式 的 平衡 。 

只 有 极端 唯 我 论 者 否认 独立 于 主观 之 外 的 世界 的 真实 性 。 但 这 种 所 谓 的 “真实 世界 ”到 底 
是 什么 样 的 ? 除了 “硬件 ”和 “软件 ”的 复杂 混合 之 外 ， 它 还 是 一 个 包含 原子 、 分 子 、 夸 克 、 
引力 、 相 互 作用 、 细 胞 、DNA 以 及 〈 甚 至 可 能 ) 超 纺 的 系统 。 所 有 这 些 概念 都 是 试探 性 的 模型 ， 
由 平衡 驱动 主体 的 解释 性 需求 驱动 。 同 样 ， 这 些 试探 性 的 模型 不 是 关于 外 部 世界 的 。 而 是 ， 它 们 
抓 住 社会 性 智能 主体 的 动态 平衡 张力 ， 是 在 空间 和 时 间 中 进化 和 不 断 自 我 校准 的 实质 智能 。 

对 “真实 ”的 访问 和 创建 也 是 通过 主体 约定 获得 的 。 具 体 的 主体 通过 存在 主义 的 确认 来 创 
建 真实 ， 即 感知 到 的 期 望 模型 好 用 到 足以 让 它 进行 某 些 实际 需要 和 目标 。 这 个 约定 使 得 主体 在 
具体 和 社会 的 环境 中 使 用 的 符号 和 符号 系统 有 了 基础 。 这 些 构建 具有 了 基础 ， 因 为 可 以 确定 它 
们 对 于 获得 目标 来 说 足够 好 用 。 这 一 基础 也 可 从 主体 语言 的 使 用 中 看 出 来 。Seade (1969) 在 演 
讲 中 将 现象 (phenomena) 纠正 为 动作 (acts) 。 基 础 问题 是 为 什么 计算 机 在 智能 表示 方面 有 根本 
性 问题 ， 包 括 在 语言 和 学 习 方面 的 实证 。 给 计算 机 什么 样 的 部 署 才能 赋予 它 正确 的 目的 和 目标 
呢 ? 虽然 Dennett (1987) 把 这 些 归 咎 于 计算 机 需要 和 使 用 “智能 ”来 解决 问题 ， 但 缺乏 足够 的 
基础 ， 这 在 计算 机 的 简化 、 脆 弱 和 有 限 的 环境 评估 能 力 中 是 显而易见 的 。 

有 生命 的 主体 对 符号 的 使 用 和 依赖 意味 着 更 多 含义 。 人 类 主体 的 具体 和 社会 背景 中 的 特殊 
部 分 将 主体 间 的 交互 和 外 部 世界 联系 起 来 。 听 觉 和 视觉 系统 感觉 特定 带宽 的 声波 和 光波 ;作为 
具有 用 膊 、 腿 、 手 的 直立 两 足 动物 来 观察 世界 ; 生活 在 有 天 气 、 季 节 、 太 阳 和 黑暗 的 世界 中 ; 是 
社会 的 一 部 分 ， 有 发 展 的 目标 和 目的 ;每 个 个 体 出 生 、 繁 殖 和 死亡 ; 这 些 都 是 支持 理解 、 学 习 和 
语言 的 关键 成 分 ， 这 些 关系 到 艺术 、 生 命 和 爱 的 表达 。 

能 不 能 让 我 来 把 你 比 作 夏 日 ? 
你 可 是 更 加 温和 ， 更 加 可 爱 : 
狂风 会 吹 落 五 月 里 开 的 好 花 儿 ， 
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夏季 的 生命 又 未 免 结束 得 太 快 …… 
莎士比亚 ， 十 四 行 诗 (第 十 八 首 ) 
在 结束 本 书 时 ， 我 们 小 结 了 一 下 人 工 智能 的 关键 问题 ， 这 些 问题 同时 支撑 与 界定 我 们 当前 
在 推进 智能 系统 科学 中 所 展开 的 工作 。 
16. 3 人 工 智能 : 当前 的 挑战 和 未 来 的 方向 


如 同一 位 几何 学 家 倾注 全 部 心血 ， 来 把 那 园 形 测定 ， 他 百般 思 导 ， 也 无 法 把 他 所 需要 的 那个 
原理 探寻 ， 我 此 刻 面 对 那 新 奇 的 景象 也 是 这 种 情形 ……: 





但 丁 ,《 和 神曲， 天 堂 篇 》 

虽然 使 用 人 工 智 能 技术 来 解决 实际 问题 说 明了 它 的 实用 人 性， 但 使 用 这 些 技术 来 建立 智能 的 
通用 科学 仍 是 一 个 困难 的 、 需 要 继续 研究 的 问题 。 在 本 节 ， 我 们 将 回 到 把 我 们 引入 到 人 工 智能 领 
域 并 写 了 本 书 的 那个 问题 能 否 对 可 以 导致 智能 的 过 程 给 出 一 个 形式 化 的 、 可 计算 的 说 明 ? 

智能 的 计算 特性 开始 于 对 计算 设备 的 抽象 规范 说 明 。20 世纪 30 年 代 到 50 年 代 的 研究 开启 
了 这 一 探索 ， 图 灵 、 波 斯 特 、 马 尔 可 夫 、 丘 奇 等 人 在 对 计算 的 形式 化 描述 方面 做 出 了 极 大 贡献 。 
这 些 研究 的 目的 不 是 仅仅 指出 计算 的 含义 ,而 是 还 指出 有 关 什么 可 以 被 计算 方面 的 限制 。 通 用 
图 灵机 (Turing 1950) 是 研究 得 最 为 普遍 的 规范 说 明 ， 但 是 作为 产生 式 系统 计算 (Post 1943) 基 
础 的 波斯 特 重 写 规则 也 有 很 大 的 贡献 。 基 于 部 分 递归 函数 的 丘 奇 模型 (1941) 是 一 个 重要 的 成 
果 ， 支 持 了 现代 高 级 函数 式 语 言 ， 例 如 Scheme 、0Ocaml 和 Standard ML。 

理论 学 家 们 已 经 证 明 ， 所 有 这 些 形式 方法 都 具有 等 价 的 计算 能 力 ， 即 一 种 形式 方法 可 计算 
的 任意 函数 也 能 被 其 他 形式 方法 所 计算 。 事 实 上 ， 可 以 说 通用 图 灵机 等 价 于 现代 的 任意 计算 设 
备 。 基 于 这 些 结果 ， 丘 奇 - 图 灵 命 题 给 出 了 更 为 有 力 的 论据 ， 即 没有 哪个 计算 模型 能 够 定义 得 比 
这 些 已 知 模型 更 强 。 一 旦 我 们 建立 了 计算 规范 的 等 价 性 ， 我 们 就 从 这 些 规范 的 机 械 化 工具 中 解 
放出 来 : 我 们 可 以 用 电子 管 、 硅 芯片 、 细 胞 质 或 者 普通 玩具 实现 我 们 的 算法 。 在 一 种 媒介 上 的 自 
动 设计 机 制 等 价 于 在 另外 一 种 媒介 上 设计 的 机 制 。 因 此 当 我 们 在 一 种 媒介 上 来 测试 在 另 一 种 媒 
介 上 实现 的 机 制 时 ， 这 就 使 得 经 验 式 探索 的 方法 变 得 更 加 重要 。 

有 一 种 可 能 就 是 图 灵 和 波斯 特 的 通用 机 器 也 许 太 泛 化 、 太 通用 了 。 这 里 矛盾 的 是 ， 智 能 可 能 
并 不 需要 很 强 的 带 集中 控制 的 计算 机 制 。Levesque 和 Brachman (1985) 建议 人 的 智能 可 能 需要 
更 多 的 计算 性 的 有 效 的 表示 ( 比如 用 于 推理 的 Hom 子 句 ) 、 对 基础 文字 (ground literal) 的 实际 
知识 的 约束 以 及 可 计算 跟踪 的 真 值 维 护 系统 的 使 用 。 智 能 的 基于 主体 的 模型 和 涌现 模型 似乎 也 
支持 这 种 哲学 。 

由 我 们 的 机 制 模型 的 形式 化 等 价 性 所 引出 的 另 一 个 论点 是 ， 二 元 性 问题 和 心身 (mind-body) 
问题 。 从 笛 卡 儿 时 代 〈 见 1.1 节 ) 以 后 ,哲学 家 们 就 提出 了 智能 、 意 识 和 身体 之 间 的 交互 和 整 
合 问 题 。 他 们 给 出 了 每 种 可 能 的 反映 ， 从 完全 的 唯物 主义 到 对 物质 存在 的 否定 ， 其 至 到 支持 上 帝 
的 介入 ! 人 工 智能 和 认 知 科学 的 研究 否认 了 向 卡 儿 的 二 元 论 ， 而 支持 基于 物理 实现 或 者 符号 实 
例 的 智能 的 物质 模型 ， 支 持 管理 这 些 符号 的 计算 机 制 的 形式 化 规范 ， 支 持 表 示范 例 的 等 价 性 ， 支 
持 在 具体 模型 中 知识 和 技能 的 机 械 化 。 这 种 研究 的 成 功 表 明了 这 种 模型 的 有 效 性 〈Johnson-Laird 
1988, Dennett 1987, Luger et al. 2002 ) 。 

关于 物理 系统 中 智能 的 认识 论 基 础 ， 仍 然 还 有 许多 问题 。 我 们 再 次 总 结 了 以 下 几 个 重要 
问题 ， | 

1) 表示 问题 。 纽 维尔 和 西蒙 假定 物理 符号 系统 和 搜索 对 于 智能 的 特性 是 充分 必要 的 ( 见 
16. 1 节 )。 神 经 模型 或 子 符号 模型 的 成 功 、 智 能 的 遗传 和 涌现 方法 的 成 功 是 否 是 对 物理 符号 假设 
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的 一 种 驳斥 ， 或 者 它们 是 这 种 假设 的 简单 实例 吗 ? 

连 这 种 假设 的 弱 解 释 一 一 物理 符号 系统 是 智 能 的 一 个 充分 模型 一 一 在 现代 认 知 科学 领域 中 
也 产生 了 许多 强大 的 、 有 用 的 结果 。 这 种 观点 认为 ， 我 们 可 以 实现 那些 能 说 明智 能 行为 的 物理 符 
号 系统 。 充 分 性 使 得 我 们 能 够 为 人 所 具有 的 许多 方面 的 性 能 创建 和 测试 基于 符号 的 模型 (Pyly- 
shyn 1984 ，Posner 1989 ) 。 但 是 这 个 假设 的 强 解释 物理 符号 系统 和 搜索 对 于 智能 活动 是 必要 
的 一 一 仍然 是 个 有 待 研 究 和 解决 的 问题 ( Searle 1980，Weizenbaum 1976, Winograd and Flores 
1986, Dreyfus 1985, Penrose 1989 ) 。 

2) 认 知 中 具体 化 的 作用 。 物 理 符号 系统 假设 的 主要 假定 之 一 就 是 ， 物 理 符号 系统 的 特定 实 
例 化 是 与 其 性 能 无 关 的 ; 其 主要 内 容 是 其 形式 化 结构 。 许 多 研究 者 都 对 这 一 点 提出 了 挑战 
(Searle 1980 ，Johnson 1987 ，Agre and Chapman 1987 ，Brooks 1989 ，Varela et al. 1993 ) ， 他 们 指出 
智能 行为 的 需求 要 求 一 种 允许 主体 整合 到 世界 中 的 物理 具体 化 。 现 代 计算 机 的 结构 并 不 允许 这 
种 程度 的 情形 ， 而 是 要 求 一 个 人 工 智能 通过 极端 有 限 的 窗口 〈 同 时 代 的 输入 输出 设备 ) 来 同志 
界 进行 交互 。 如 果 这 种 挑战 是 正确 的 ， 则 尽管 出 现 机 器 智能 ， 它 仍 需 要 同时 代 的 计算 机 提供 一 个 
非常 相同 的 接口 (对 这 个 主题 的 更 多 解释 见 15. 0 节 自然 语言 理解 中 的 问题 和 16. 2. 2 节 认 识 论 约 
束 )。 

3) 文化 与 智能 。 传 统 上 ， 人 工 智 能 侧重 于 把 个 体 智能 作为 智能 的 来 源 ; 我 们 的 行动 好 像 在 
说 ， 对 于 大 脑 编 码 和 怎样 管理 知识 的 方法 的 解释 可 能 是 原始 智能 的 一 种 完整 解释 。 然 而 ， 我 们 也 
会 认为 知识 最 好 被 看 作 是 基于 社会 的 ， 而 不 是 一 个 个 体 所 构造 的 。 在 基于 记忆 的 智能 理论 中 
(Edelman 1992) ， 社 会 本 身 也 带 有 智能 的 本 质 组 件 。 对 于 智能 理论 来 说 ， 对 知识 的 社会 环境 和 人 
类 行为 的 理解 ， 同 对 个 体 智 能 /大 脑 的 理解 ， 是 同等 重要 的 。 

4) 刻画 解释 的 本 质 。 在 表示 传统 研究 中 ， 大 多 数 模 型 一 般 工作 在 已 经 解释 好 的 领域 中 ， 即 
对 于 解释 的 上 下 文 ， 系 统 设 计 者 通常 都 会 给 出 一 些 隐 含 的 、 先 验 约 定 ， 在 这 种 约定 下 ， 很 难 随 着 
问题 求解 过 程 的 进展 而 将 上 下 文 、 目 标 或 表示 进行 转换 。 目 前 还 很 少 有 成 果 能 够 阐明 人 类 构造 
解释 的 过 程 。 

Tarskian 的 观点 ， 即 将 语义 作为 符号 和 对 象 之 间 的 映射 ,还 是 太 弱 并 不 能 解释 一 些 事实 ， 如 
一 个 领域 在 不 同 实践 目标 的 指引 下 可 能 会 有 不 同 的 解释 。 语 言 学 家 试图 通过 语 用 理论 ( Austin 
1962) 来 弥补 Tarskian 语义 的 局 限 性 。 论 述 分 析 ， 基 本 依赖 于 上 下 文中 符号 的 使 用 ， 已 经 在 近 几 
年 中 广泛 地 讨论 了 这 些 问题 ， 但 是 这 个 问题 涉及 的 内 容 事实 上 还 要 更 加 广泛 ， 因 为 它 通 常 还 要 
处 理 参 考 工 具 的 失败 (Lave 1988 ，Grosz and Sidner 1990)。 

C. S. Peirce (1958) 最 先 倡导 符号 语言 学 的 传统 ， 后 续 的 研究 者 还 有 Eco、Seboek 以 及 其 他 
学 者 (Eco 1976 ，Grice 1975 ，Sebeok 1985) ， 他 们 对 于 语言 采用 了 更 为 激进 的 方法 。 这 种 符号 语 
言 学 的 传统 把 符号 表达 式 放 在 广泛 的 记号 和 记号 解释 中 ， 它 表明 ， 符 号 的 含义 只 有 在 它 用 做 解 
释 的 上 下 文中 才能 够 被 理解 ， 即 在 解释 的 上 下 文中 或 在 与 环境 的 交互 中 才能 被 理解 ( 见 16.2.2 
节 )。 

5) 表示 的 不 确定 性 。Anderson 的 表示 不 确定 性 猜想 ( Anderson 1978) 指出 ， 在 熟练 性 能 的 
特定 动作 这 种 环境 下 ， 确 定 哪 种 表示 模式 最 接近 于 人 的 问题 求解 器 在 理论 上 是 不 可 能 的 。 这 种 
猜想 是 基于 这 样 的 事实 ， 即 每 个 表示 模式 不 可 避免 地 被 连接 到 一 个 大 型 的 计算 结构 ， 就 像 搜 索 
策略 一 样 。 在 对 人 类 技能 的 详细 分 析 中 ， 我 们 不 太 可 能 充分 地 控制 这 个 过 程 ， 使 得 我 们 能 决定 这 
个 表示 ; 也 不 可 能 为 过 程 被 惟一 确定 的 那些 点 建立 一 个 表示 。 由 物理 的 不 确定 原理 ， 现 象 可 以 通 
过 检验 这 个 现象 的 过 程 来 加 以 改变 ， 因 此 ， 构 造 智能 模型 是 需要 重点 关注 的 ， 但 没有 必要 限制 它 
们 的 利用 。 
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但 更 为 重要 地 ， 计 算 模 型 本 身 也 受到 同样 的 批评 ， 其 中 符号 的 归纳 偏 置 和 丘 奇 /图 灵 假 设 中 
的 搜索 仍 未 约束 一 个 系统 。 当 科学 家 简单 地 要 求 足够 健壮 的 模型 来 约束 经 验 问题 时 ， 一 些 优化 
的 表示 模式 的 感知 需要 可 能 是 理性 主义 梦想 的 残留 物 。 一 个 模型 能 给 出 其 解释 、 能 预言 和 能 被 
修改 ， 同 样 也 能 够 对 模型 的 质量 进行 证 明 。 

6) 设计 可 以 反 证 的 计算 模型 的 必要 性 。Popper (1959) 等 人 指出 科学 理论 必定 是 可 以 反 证 
的 ， 这 就 是 说 ， 必 定 存 在 一 种 环境 , .使 得 在 此 环境 下 的 这 个 理论 模型 并 不 是 对 这 种 现象 的 成 功 的 
近似 。 明 显 的 原因 是 ， 任 何 数目 的 确定 性 实验 实例 都 不 能 充分 地 确定 一 个 模型 。 许 多 研究 是 在 已 
有 理论 的 失败 的 基础 上 进行 的 。 

物理 符号 系统 假设 的 一 般 本 质 正 如 智能 的 情景 模型 和 涌现 模型 一 样 ， 可 能 会 使 它们 不 可 能 
被 歪曲 ， 并 作为 一 种 模型 在 使 用 上 受到 限制 。 同 样 地 ， 可 以 对 关于 现象 学 传统 的 假设 进行 批评 
〈 见 第 7 点 ) 。 一 些 人 工 智 能 数据 结构 〈 比 如 语义 网 ) 还 是 很 普通 的 ， 使 得 它们 可 以 建 模 几乎 所 
有 能 够 描述 出 的 东西 ， 或 者 正 像 通 用 图 灵机 一 样 ， 使 得 它们 可 以 建 模 任意 的 可 计算 函数 。 因 此 ， 
一 个 人 工 智能 研究 者 或 者 认 知 科学 家 被 问 到 在 什么 条 件 下 他 们 的 智能 模型 不 能 用 时 ， 给 出 答案 
经 常 是 很 难 的 。 

7) 科学 方法 的 局 限 性 。 许 多 研究 者 们 (Winograd and Flores 1986 ，Weizenbaum 1976) 宣称 智 
能 的 最 重要 方面 就 是 没有 被 模型 化 ， 并 且 原 则 上 不 可 能 被 模型 化 ， 且 特别 是 不 能 使 用 任意 的 符 
号 表示 来 模型 化 。 这 些 领域 包括 学 习 、 自 然 语言 理解 、 说 话 动作 的 产生 等 。 这 些 问题 已 经 深 深 地 
植 根 于 我 们 的 哲学 理念 中 。 例 如 ，Winograd 和 Flores 的 批评 是 基于 现象 学 方面 的 问题 (Husserl 
1970, Heidegger 1962 ) 。 

现代 人 工 智能 的 大 部 分 假设 追 其 根源 ， 可 以 回潮 到 Camap、Frege 和 Leibniz， 青 远 回 湖 到 
Hobbes、Locke 和 Hume， 直 至 回溯 到 亚 里 士 多 德 。 这 种 传统 观点 认为 : 智能 的 处 理 过 程 符合 通用 
法 则 ,并 且 在 原则 上 是 可 以 理解 的 。 

Heidegger 和 他 的 追随 者 们 描述 了 一 种 可 选择 的 方法 来 理解 智能 。 对 于 Heidegger 来 说 ， 思考 
的 意识 是 源 于 具体 经 验 的 世界 〈 一 种 生命 世界 ) 。Winograd 、Flores 和 Dreyfus 等 人 认为 一 个 人 对 
事物 的 理解 是 扎根 于 在 每 天 的 世界 中 “使 用 ”这 些 理解 的 实际 活动 中 。 这 种 世界 在 本 质 上 是 一 
种 环境 ， 其 中 包括 按 社会 方式 组 织 的 各 种 作用 和 目的 。 而 这 种 环境 以 及 其 中 的 人 的 功能 不 是 通 
过 命题 解释 的 ， 也 不 是 能 够 被 定理 所 理解 的 。 它 更 像 是 一 种 不 断 形成 的 流程 。 在 基本 意义 上 ， 人 
类 专家 并 不 知道 “是 什么 ” ， 而 只 是 知道 在 进化 的 社会 标准 和 隐 含 的 目的 不 断 发 展 的 世界 中 ， 它 
是 怎么 样 的 。 我 们 不 能 自然 地 就 把 我 们 的 知识 和 大 多 数 智能 行为 放 人 语言 中 ， 不 管 是 形式 的 ， 还 
是 自然 的 。 

现在 让 我 们 来 考虑 上 述 这 种 观点 。 首 先 ， 作 为 对 纯 理性 主义 传统 的 批判 ， 这 种 观点 是 正确 
的 。 理 性 主义 者 断言 ， 所 有 的 人 类 活动 、 智 能 和 责任 ， 至 少 原则 上 能 够 被 表示 、 形 式 化 和 理解 。 
大 多 数 喜 欢 思考 的 人 们 并 不 相信 这 种 情形 ， 他 们 认为 情感 、 自 我 主张 和 有 责任 的 承诺 等 (至少 ) 
也 是 很 重要 的 。 亚 里 士 多 德 在 他 的 《 论 理性 行为 》 (Essay on Rational Action) 一 书 中 说 , “为 什 
人 么 我 并 没有 觉得 我 是 被 追 执行 那些 必须 做 的 事情 呢 ?” 在 科学 方法 的 领域 之 外 ， 还 有 很 多 人 类 活 
动 在 可 靠 的 人 类 交互 中 起 着 本 质 的 作用 。 这 些 不 可 能 被 机 器 再 生 或 者 取消 。 

然而 ， 检 查 数据 、 构 造 模型 、 运 行 实验 以 及 为 了 进一步 实验 而 使 用 模型 精炼 来 检查 结果 等 这 
些 科学 传统 已 经 进入 了 理解 、 解 释 和 预言 人 类 社会 能 力 这 样 的 一 个 重要 的 水 平 。 科 学 方法 是 提 
高 人 类 理解 能 力 的 一 个 有 力 工具 。 尽 管 如 此 ， 对 于 这 种 方法 ， 这 里 仍然 有 许多 的 售 诚 是 科学 家 们 
必须 理解 的 。 

首先 ， 科 学 家 们 不 要 把 这 个 模型 与 被 建 模 的 现象 相 混淆 。 模 型 能 允许 我 们 不 断 地 逼近 这 种 
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现象 ; 通常 这 里 必然 有 一 些 不 能 使 用 经 验 解释 的 “残留 物 ”。 在 这 种 意义 上 ， 表 示 不 确定 性 并 不 
是 一 个 问题 。 一 个 模型 是 用 来 探索 、 解 释 和 预言 的 ， 如果 它 允 许 科学 家 来 完成 这 些 任务 ， 则 它 就 
是 成 功 的 (Kuhn 1962) 。 确 实 ， 对 于 一 个 简单 的 现象 ， 不 同 的 模型 可 以 用 来 解释 这 种 现象 的 不 
同方 面 ， 例 如 光 的 波动 理论 和 粒子 理论 ( 光 的 波 粒 二 相 性 ) 。 

此 外 ， 当 研究 者 们 主张 智能 现象 的 各 个 方面 已 经 在 科学 传统 的 范围 和 方法 之 外 时 ， 这 种 说 法 本 
身 也 只 能 用 那些 科学 传统 来 验证 。 科 学 方法 只 是 一 种 工具 ， 它 可 以 用 来 解释 在 什么 意义 上 问题 仍然 
是 在 我 们 当前 的 理解 之 外 。 每 种 观点 ， 黄 至 是 来 自 于 现象 学 传统 的 观点 ， 如 果 它 是 有 一 定 含意 的 ， 
那么 它 一 定 跟 我 们 当前 某 些 解释 的 概念 相关 ， 其 至 它 是 与 那些 不 能 解释 的 现象 相关 联 的 。 

人 工 智 能 研究 中 最 让 人 振奋 的 方面 是 对 我 们 必须 解决 的 这 些 问 题 做 出 不 懈 的 努力 和 贡献。 
为 了 理解 问题 求解 、 学 习 和 语言 ， 我 们 必须 领会 表示 和 知识 的 哲学 层面 含义 。 我 们 被 要 求 用 一 种 
谦卑 的 方式 来 解决 亚 里 士 多 德 的 理论 和 实践 之 间 的 关系 问题 ， 以 形成 理解 和 实践 的 统一 、 理 论 
和 实践 的 统一 ， 在 科学 与 艺术 中 生活 。 

人 工 智能 工作 者 是 工具 的 制造 者 。 我 们 的 表示 、 算 法 和 语言 都 是 一 些 工 具 ， 用 来 设计 和 建立 
那些 展现 智能 行为 的 机 制 。 通 过 实验 ， 我 们 同时 检验 了 它们 解决 问题 的 计算 适合 性 ， 也 检验 了 我 
们 自己 对 智能 现象 的 理解 。 

确实 ， 我 们 有 这 些 传统 : 箔 卡 儿 、 莱 布 尼 兹 、 培 根 、 帕 斯 卡 、 霍 布 斯 、 巴 贝 奇 、 图 灵 等 都 是 
做 出 重要 贡献 的 人 ， 见 第 1 章 。 工 程 、 科 学 和 哲学 ， 思 想 、 知 识 和 技能 的 本 质 ， 形 式 方法 与 机 制 
的 能 力 和 局 限 性 等 ， 这 些 课题 都 是 我 们 所 经 历 的 ， 也 是 我 们 需要 继续 探索 和 研究 的 。 


16. 4 结语 和 参考 文献 


读者 可 以 参考 第 1 章 最 后 列 出 的 参考 文献 ， 另 外 还 增加 一 些 文献 ; 《Computation and Cogni- 
tion》 (Pylyshyn 1984), 《Understanding Computers and Cognition》 (Winograd and Flores 1986)。 关 
于 认 知 科学 方面 的 问题 ， 请 参考 Newell and Simon (1972)、Pylyshyn (1973，1980)、Norman 
(1981 ) 、 Churchland ( 1986 )、 Posner (1989 ) 、Luger (1994 )、 Franklin ( 1995 )、 Ballard 
(1997)、 Elman et al. (1996) 以 及 Jeannerod (1997 ) 。 

Haugeland (1981 ，1997 ) 、Dennett (1978 ，2006) 和 Smith (1996) 描述 了 智能 系统 科学 的 
哲学 基础 。Anderson (1990) 关于 认 知 心理 学 的 书 给 出 了 关于 信息 处 理 模 型 的 有 价值 的 实例 。 
Pylyshyn (1984) 和 Anderson (1978，1982，1983a) 给 出 了 认 知 科学 中 许多 关键 问题 的 详细 描 
述 ， 包 括 对 表示 不 确定 性 的 讨论 。Dennett (1991) 将 认 知 科学 的 方法 论 应 用 到 意识 结构 本 身 的 
探索 中 。 我 们 也 给 读者 推荐 科学 的 哲学 方面 的 文献 (Popper 1959，Kubhn 1962，Bechtel 1988， 
Hempel 1965, Lakatos 1976, Quine 1963 ) 。 

最 后 , 《Philosophy in the Flesh》 (Lakoff and Johnson 1999 ) ， 对 这 些 基 础 问题 给 出 了 一 些 可 能 
的 解答 。《The Embodied Mind》 (Varela et al. 1993 ) 、Suchman (1987) 和 《Being There》 (Clark 
1997) 描述 了 体现 智能 的 重要 方面 。 
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